IDEA15 下运行Scala遇到问题以及解决办法
为了让Scala运行起来还是很麻烦,为了大家方便,还是记录下来:
1、首先我下载的是IDEA的社区版本,版本号为15.
2、下载安装scala插件:
2.1 进入设置菜单。
2.2 点击安装JetBrains plugin
2.3 输入scala查询插件,点击安装
说明:我的IDEA已经安装,所以这里面没有显示出来安装按钮,否则右边有显示绿色按钮。
3、新建Scala工程
3.1 新建工程
通过菜单:File----》New Project 选择Scala工程。
并且设置项目基本信息,如下图:
3.2 设置Modules
1)点击右上角的方块:
2)在左边选择Libraries---》+---》Scala SDK--》选择版本为2.10.4
说明:如果不存在这个版本可以通过左下角的download去下载。
3)选择添加Java的Jar文件,选择Spark和Hadoop关联的Jar
我这里添加的是:spark-assembly-1.6.1-hadoop2.6.0.jar 这个是spark安装时候自带的lib里面有,很大。
定位到jar所在的目录后,刷新,选择这个文件,点击OK,会花费比较长时间建索引。
4)在Src源码目录新建文件:WordCount.scala
且输入如下代码:
import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.SparkContext._object WordCount {def main(args: Array[String]) {if (args.length < 1) {System.err.println("Usage:<File>")System.exit(1)}val conf = new SparkConf().setAppName("WordCount")val sc = new SparkContext(conf)val line = sc.textFile(args(0))val words = line.flatMap(_.split("")).map((_, 1))val reducewords = words.reduceByKey(_ + _).collect().foreach(println)sc.stop()}}
5)编译运行:
需要输入参数,所以要设置下相关参数信息:
随便复制个文件过去,然后设置下:
- 抛出异常:
Exception in thread "main" org.apache.spark.SparkException: A master URL must be set in your configuration
at org.apache.spark.SparkContext.<init>(SparkContext.scala:401)
解决办法:需要设置下SparkContext的地址:
- 抛出异常:
16/06/25 12:14:18 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
解决办法:
http://stackoverflow.com/questions/19620642/failed-to-locate-the-winutils-binary-in-the-hadoop-binary-path
可能是因为我没有安装hadoop的原因,设置下相关信息就可以:
下载:
<a href="http://www.srccodes.com/p/article/39/error-util-shell-failed-locate-winutils-binary-hadoop-binary-path">Click here</a>
设置:HADOOP_HOME为下载后解压内容的上级目录,然后在PATH里面添加%HADOOP_HOME%/bin;
4、其他异常
1)异常内容:类或Object XXX已经被定义
解决办法: 这个可能是工程里面设置了两个source目录,需要删除一个。
2)异常内容:sparkContext.class 依赖不存在
解决办法:需要引入hadoop的jar包,我这里是:spark-assembly-1.6.1-hadoop2.6.0.jar
3)异常内容:Error:(17, 29) value reduceByKey is not a member of org.apache.spark.rdd.RDD[(String, Int)]
解决办法: 导入这个: import org.apache.spark.SparkContext._
4)异常内容:Exception in thread "main" java.lang.NoClassDefFoundError: com/google/common/util/concurrent/ThreadFactoryBuilder
解决办法:添加依赖Jar :guava-11.0.2.jar
5)异常内容:Exception in thread "main" java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty()Lscala/collection/immutable/HashSet;
解决办法:更改scala-sdk版本为2.10,如果没有通过如下方式下载:(速度奇慢)
5、打包成Jar
1、设置下导出Jar信息:
2、设置导出的工程还导出的Main类:
3、通过选择点击-号删除其他依赖的class
4、导出Jar包:
5、上传后执行Jar包
./spark-submit --master spark://inas:7077 --class WordCount --executor-memory 512m /home/hadoop/sparkapp/scalatest4.jar hdfs://inas:9000/user/hadoop/input/core-site.xml
说明: hadoop文件为以前新建的,在提交之前需要先启动hadoop再自动spark,然后再用以上办法提交。
启动Hdfs: ./start-dfs.sh
启动spark:./sbin/start-all.sh(没试过)
可以通过如下方法启动:
~/project/spark-1.3.0-bin-hadoop2.4 $./sbin/start-master.sh
~/project/spark-1.3.0-bin-hadoop2.4 $./bin/spark-class org.apache.spark.deploy.worker.Worker spark://inas:7077
注意:必须使用主机名
启动模式为standaline模式。
Spark Standalone Mode 多机启动,则其他主机作为worker启动,设置master主题。
IDEA15 下运行Scala遇到问题以及解决办法相关推荐
- win2003+IIS服务器下运行ASP程序非常慢的解决办法
笔者今天重新装了服务器,装的是win2003+IIS,在上面运行的是ASP+ACCESS.装完之后,浏览HTML页面,非常快,令人很满意:)但是,运行ASP就狂慢,即使只运行<%=now()%& ...
- Window10管理员已阻止你运行此应用,简单解决办法(CP2102驱动安装)
Window10管理员已阻止你运行此应用,简单解决办法(CP2102驱动安装) 问题描述:因为实验要求,要安装一个CP2102驱动,双击安装程序,跳出以下提示: 以下方法只适用于运行安装程序时出现这种 ...
- Ubuntu下U盘文件只读的解决办法
分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow 也欢迎大家转载本篇文章.分享知识,造福人民,实现我们中华民族伟大复兴! Ubun ...
- windows10下pip安装速度慢的解决办法
windows10下pip安装速度慢的解决办法 pip修改源 我们这里使用的镜像源是清华大学的镜像源,使用方法有两种,第一种是临时使用: pip install -i https://pypi.tun ...
- Ubuntu下无法看到共享文件夹的解决办法
参考:Ubuntu下无法看到共享文件夹的解决办法 作者:一只青木呀 发布时间:2020-08-07 10:09:04 网址:https://blog.csdn.net/weixin_45309916/ ...
- mysql linux root密码忘记了怎么办,linux下忘记mysql的root密码解决办法 | 严佳冬
下面就记录一下在linux下忘记mysql的root密码解决办法: 1.vim /etc/my.cnf #编辑文件,找到[mysqld],在下面添加一行skip-grant-tables [my ...
- 在win7系统 Keil 开发环境下 Jlink 仿真器连不上解决办法
Keil 开发环境下 Jlink仿真器,在win7系统下,仿真器连不上解决办法 进入设备管理器,发现黄色问号,即windows不识别设备,分别右键点击属性,更新驱动程序.在安装keil目录下自动查找, ...
- 针对Windows10下EPLAN2.7频繁重启的解决办法
针对Windows10下EPLAN2.7频繁重启的解决办法 只在Windows10平台测试可行,其他平台或版本不一定有效. 1.打开EPLAN Download Manager 2.勾选如图前三项下载 ...
- VMware运行虚拟机卡慢等解决办法
`VMware`运行虚拟机卡慢等解决办法 背景 快照 操作 背景 虚拟机的运行速度一部分原因取决于你的物理机配置,有时候虚拟机资源不足会导致卡慢等问题. 快照 操作前,先给虚拟机拍摄一个快照,以便出现 ...
最新文章
- 石英晶体振荡器的结构
- Eclipse的java代码出错:The import org.apache cannot be resolved
- PySide2 基础入门-创建实例窗口(详细解释)
- P16对member进行代码生成时,访问端口出现This application has no explicit mapping for /error, so you are seeing this
- OpenCV calcOpticalFlowPyrLK用法的实例(附完整代码)
- windows运行linux脚本命令大全,查看和运行 Windows PowerShell 脚本
- 如何关闭快递收货隐私手机号 拼多多
- Ubuntu12.04安装配置Nginx Tomcat环境
- cal日历工具的用法
- 数据分析师自学好还是报班好
- openwrt之network配置文件
- 增强版在线LEFSe分析和可视化鉴定标志性基因或物种
- 一款非常强大的vlc多媒体视频播放器:VLC Media Player for mac
- arm 驱动基础:点亮led_firt
- 朱松纯:走向通用人工智能——从大数据到大任务
- 【计算机毕业设计】停车场管理系统
- Impala和Presto的时间处理
- Java Web编程
- LED照明灯具与传感器技术
- 先收藏!只需三步,教你做好 618 大促复盘!