详解IntelliJ IDEA创建spark项目的两种方式

所属分类: 软件编程 / java 阅读数: 46
收藏 0 赞 0 分享

Intellij是进行scala开发的一个非常好用的工具,可以非常轻松查看scala源码,当然用它来开发Java也是很爽的,之前一直在用scala ide和eclipse,现在换成intellij简直好用到飞起,但是有些人不知道怎么用intellij去创建一个spark项目,这里介绍两种

1、选择File->new Project->Java->Scala,这里scala版本是2.11.8

2 .之后一路点击next,直到finish,创建完的项目见下图,这时候已经可以创建scala文件了,接下来就可以添加spark相关的jar包了,从官网下载http://spark.apache.org/downloads.html,我这里用的是spark-2.2.1-bin-hadoop2.7,你可以根据自己需要选择相应的版本,下载完压缩包后解压

3 . 选择File->Project Structure->Libraries,点击+,选择Java,选择之前下载的spark2.2-hadoop2.7解压后的jars文件夹,将该文件夹下的jar包全部引进该项目,见下图

4 . 之后在libraries中点击+,选择scala sdk,这里选择系统版本的scala,为2.11.8版本,添加见下图

5 . 添加完毕后Project Structure类似于下面这种格式

6 .现在该项目有了spark的jar和scala的sdk,之后创建一个scala文件进行测试,代码及运行结果见下图

 

7 .出现上面这些内容表明Intellij创建spark项目成功,总结一下这种方式需要引入scala sdk以及spark的jar包,还有另外一种方式是见下图,选择File->New Project->Scala->IDEA,选择next

8 .之后指定项目名称和项目所处位置,点击finish,创建项目

9 .这时候创建的项目如下,这种情况下可以直接右键new 创建scala文件,不需要在额外添加scala sdk

10 .接下来的操作和上面那种一样,添加spark jar包即可,添加完后测试一下

 

11 .成功输出,表明Intellij创建spark项目成功,当然前提是intellij安装了scala插件,在File->Settings->Plugins,搜索scala,根据查找的结果进行安装后重启intellij即可,下图是我已经安装好的

以上就是两种创建spark项目的方式,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

更多精彩内容其他人还在看

Collections工具类_动力节点Java学院整理

Collections工具类提供了大量针对Collection/Map的操作。这篇文章主要介绍了Collections工具类_动力节点Java学院整理,需要的朋友可以参考下
收藏 0 赞 0 分享

SpringMVC集成Swagger实例代码

本篇文章主要介绍了SpringMVC集成Swagger实例代码,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
收藏 0 赞 0 分享

十大常见Java String问题_动力节点Java学院整理

本文介绍Java中关于String最常见的10个问题,需要的朋友参考下吧
收藏 0 赞 0 分享

Java微信公众平台开发(13) 微信JSSDK中Config配置

这篇文章主要为大家详细介绍了Java微信公众平台开发第十三步,微信JSSDK中Config配置,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
收藏 0 赞 0 分享

Java实现一个达达租车系统的步骤详解

这篇文章主要给大家介绍了利用Java实现一个达达租车系统的步骤,文中给出了详细的实现思路和示例代码,并在文末给出了完整的源码供大家学习下载,需要的朋友可以参考借鉴,下面来一起看看吧。
收藏 0 赞 0 分享

Java微信公众平台开发(14) 微信web开发者工具使用

这篇文章主要为大家详细介绍了Java微信公众平台开发第十四步,微信web开发者工具的使用方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
收藏 0 赞 0 分享

Spring Boot整合RabbitMQ实例(Topic模式)

Topic Exchange 转发消息主要是根据通配符。接下来通过本文给大家分享Spring Boot整合RabbitMQ实例(Topic模式),需要的朋友参考下吧
收藏 0 赞 0 分享

Java微信公众平台开发(15) 微信JSSDK的使用

这篇文章主要为大家详细介绍了Java微信公众平台开发第十五步,微信JSSDK的使用方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
收藏 0 赞 0 分享

java多线程的同步方法实例代码

这篇文章主要介绍了 java多线程的同步方法实例代码的相关资料,需要的朋友可以参考下
收藏 0 赞 0 分享

spring boot整合RabbitMQ实例详解(Fanout模式)

这篇文章主要介绍了spring boot整合RabbitMQ的实例讲解(Fanout模式),非常不错,具有参考借鉴价值,需要的朋友可以参考下
收藏 0 赞 0 分享
查看更多