启动hdfs

略

http://blog.csdn.net/zengmingen/article/details/53006541

启动spark

略

安装：http://blog.csdn.net/zengmingen/article/details/72123717

spark-shell：http://blog.csdn.net/zengmingen/article/details/72162821

准备数据

vi wordcount.txt

hello zeng
hello miao
hello gen
hello zeng
hello wen
hello biao
zeng miao gen
zeng wen biao
lu ting ting
zhang xiao zhu
chang sheng xiang qi lai
zhu ye su ai ni

上传到hdfs

hdfs dfs -put wordcount.txt /

编写代码

用scala语言，在spark-shell命令窗下

sc.textFile("hdfs://nbdo1:9000/wordcount.txt")

.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)

.saveAsTextFile("hdfs://nbdo1:9000/out")

运行结果

补充：

将运行结果保存到一个文件。点击阅读扩展

代码：

sc.textFile("hdfs://nbdo1:9000/wordcount.txt")

.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)

.coalesce(1,true).saveAsTextFile("hdfs://nbdo1:9000/out2")

运行结果

-------------

更多的Java，Android，大数据，J2EE，Python，数据库，Linux，Java架构师，教程，视频请访问：

http://www.cnblogs.com/zengmiaogen/p/7083694.html

spark shell中编写WordCount程序相关推荐

启动Spark Shell,在Spark Shell中编写WordCount程序，在IDEA中编写WordCount的Maven程序，spark-submit使用spark的jar来做单词统计
1.启动Spark Shell spark-shell是Spark自带的交互式Shell程序,方便用户进行交互式编程,用户可以在该命令行下用scala编写spark程序.要注意的是要启动Spark-S ...
Java黑皮书课后题第5章：**5.45（统计：计算平均值和标准方差）在商务应用中……编写一个程序，提示用户输入10个数字，然后运用下面的公式，显示这些数字的平均值以及标准方差
5.45(统计:计算平均值和标准方差)在商务应用中--编写一个程序,提示用户输入10个数字,然后运用下面的公式,显示这些数字的平均值以及标准方差题目题目描述破题运行示例代码题目题目描述 ...
shell调用spark不执行JAVA,当代码在Spark shell中工作时，spark-submit不能引用“--jars”指定的jar？...
我使用intelliJ创建了一个sbt项目 . 我在项目的 lib 文件夹中复制了所需的jdbc jar sqljdbc42.jar . sbt package 圆满结束 . 我在 Windows 的 ...
编写wordcount程序
一.程序概述 1.此次编写的程序为邹欣老师<构建之法>科书2.4.2 wordcount程序. 2.我写的wordcount程序要实现的功能整体可以总结为: ① 统计word文档中的字符数 ...
spark学习11（Wordcount程序-本地测试）
wordcount程序文件wordcount.txt hello wujiadong hello spark hello hadoop hello python 程序示例 package wujia ...
c语言算正方形面积和周长,c语言中编写一程序计算正方形的周长和面积
C语言编写程序,从键盘输入一个正数,计算该数的平方根. #include#includeintmain(){\x09doublex;\x09scanf("%lf",&x) ...
如何在shell中编写mongodb的命令
基本上常用的命令操作可以按照下面的表格进行编写: 数据库操作命令 shell中写法对应 show dbs, show databases db.adminCommand('listDatabases ...
C语言中编写一个程序，提示用户输入两个日期，然后显示哪一个日期更早
文章目录编写一个程序,提示用户输入两个日期,然后显示哪一个日期更早 #include<stdio.h> int main(){ int a,s,d; int z,x,c; scanf(& ...
python可以用vs编辑吗_在VS2017中编写Python程序
最近开始了python的学习,在搭建完python环境之后,在选择IDE的时候陷入了困境,首先选择的是PyCharm但是用着还是不习惯,毕竟用VS开发了几年了,突然换软件总感觉有点不适应,就想到了强大 ...

spark shell中编写WordCount程序

启动hdfs

启动spark

准备数据

上传到hdfs

编写代码

运行结果

补充：

代码：

运行结果

spark shell中编写WordCount程序相关推荐

最新文章

热门文章