在spark-shell中编写wordcont

首先启动Master：./sbin/start-master.sh
然后启动Worker：./sbin/start-slave.sh master:7077
启动Spark Shell：./bin/spark-shell --master spark://master:7077
在Spark shell中执行如下命令：
val line = sc.textFile("file:home/spark/spark-2.2.0-bin-hadoop2.7/README.md")
val result = line.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _)
result.saveAsTextFile("file:///home/spark/spark-2.2.0-bin-hadoop2.7/out")

在spark-shell中编写wordcont相关推荐

启动Spark Shell,在Spark Shell中编写WordCount程序，在IDEA中编写WordCount的Maven程序，spark-submit使用spark的jar来做单词统计
1.启动Spark Shell spark-shell是Spark自带的交互式Shell程序,方便用户进行交互式编程,用户可以在该命令行下用scala编写spark程序.要注意的是要启动Spark-S ...
spark shell中编写WordCount程序
启动hdfs 略 http://blog.csdn.net/zengmingen/article/details/53006541 启动spark 略安装:http://blog.csdn.net/ ...
shell调用spark不执行JAVA,当代码在Spark shell中工作时，spark-submit不能引用“--jars”指定的jar？...
我使用intelliJ创建了一个sbt项目 . 我在项目的 lib 文件夹中复制了所需的jdbc jar sqljdbc42.jar . sbt package 圆满结束 . 我在 Windows 的 ...
如何在shell中编写mongodb的命令
基本上常用的命令操作可以按照下面的表格进行编写: 数据库操作命令 shell中写法对应 show dbs, show databases db.adminCommand('listDatabases ...
在shell中编写函数
执行"nano function.sh"命令,创建新的shell脚本文件,名字为"function.sh". 编辑新创建的shell脚本文件"func ...
linux脚本编写计算器,Shell中编写简单计算器
#!/bin/bash #2016-2-29 #于虎林 #思路如下 #1,判断有没有输入类容 #2,判断输入的是不是数值 #3,判断输入的运算符 #执行运算符操作 read -t 30 -p &quo ...
jenkins通过Execute shell中通过scp/ssh命令，将一台机器中项目远程拷贝到另外一台机器，修改文件中内容
1.前置条件安装expect yum install expect -y 2.在Execute shell中编写如下命令在jenkins中执行以下命令的时候,前提条件是现在jenkins机器上手动 ...
启动spark shell
spark集群安装教程:http://blog.csdn.net/zengmingen/article/details/72123717 启动spark shell. 在spark安装目录bin文件夹 ...
好程序员大数据教程：SparkShell和IDEA中编写Spark程序
好程序员大数据教程:SparkShell和IDEA中编写Spark程序,spark-shell是Spark自带的交互式Shell程序,方便用户进行交互式编程,用户可以在该命令行下用Scala编写Spa ...

在spark-shell中编写wordcont

在spark-shell中编写wordcont相关推荐

最新文章

热门文章