SparkStreaming官方示例程序运行方式

一、前置条件

安装NetCat（有“瑞士军刀”之称，简称nc），输入如下命令：

yum install -y nc

二、方式一：直接运行官方Example

2.1 打开一个shell，输入命令：nc -lk 9999

2.2 打开另一个shell，切换到SPARK_HOME/bin目录，输入命令：

./run-example streaming.NetworkWordCount localhost 9999

三、方式二：spark-shell

3.1 打开一个shell，输入命令：nc -lk 9999

3.2 打开另一个shell，输入命令：spark-shell，当出现提示符时，输入如下代码：

import org.apache.spark.SparkConf
import org.apache.spark.streaming.{ Seconds, StreamingContext }

val ssc = new StreamingContext(sc, Seconds(1))

val lines = ssc.socketTextStream("localhost", 9999)
val words = lines.flatMap(_.split(" "))
val wordCounts = words.map(x => (x, 1)).reduceByKey(_ + _)
wordCounts.print()
ssc.start()
ssc.awaitTermination()

四、方式三：手动编译jar，提交jar进行运行

4.1 打开一个shell，输入命令：nc -lk 9999

4.2 打开Scala IDE，输入如下代码：

package test

import org.apache.spark.SparkConf
import org.apache.spark.streaming.{ Seconds, StreamingContext }

object StreamingTest {
def main(args: Array[String]) {
val sparkConf = new SparkConf().setAppName("StreamingTest")
val ssc = new StreamingContext(sparkConf, Seconds(1))

导出jar包：streamingtest.jar，上传到spark集群，执行如下命令：

spark-submit --class test.StreamingTest streamingtest.jar

转载于:https://www.cnblogs.com/liugh/p/6754775.html

SparkStreaming官方示例程序运行方式相关推荐

玩转springboot2.x之搭建Thymeleaf官方示例程序
1 thymeleaf 官方示例程序介绍前面我已经介绍了如何在spirngboot2.0中使用freemarker和jsp,今天我们来说一下如何在springboot2.0中如何使用Thymelea ...
DotNetBar for Windows Forms 12.7.0.10_冰河之刃重打包版原创发布-带官方示例程序版
关于 DotNetBar for Windows Forms 12.7.0.10_冰河之刃重打包版 --------------------11.8.0.8_冰河之刃重打包版------------- ...
DotNetBar for Windows Forms 12.5.0.2_冰河之刃重打包版原创发布-带官方示例程序版
关于 DotNetBar for Windows Forms 12.5.0.2_冰河之刃重打包版 --------------------11.8.0.8_冰河之刃重打包版-------------- ...
DotNetBar for Windows Forms 12.2.0.7_冰河之刃重打包版原创发布-带官方示例程序版
关于 DotNetBar for Windows Forms 12.2.0.7_冰河之刃重打包版 --------------------11.8.0.8_冰河之刃重打包版-------------- ...
Zookeeper C API 官方示例程序
这个程序不可执行,但是可以从中学到利用C API编程时的一些启示. #include "zookeeper.h" #include "proto.h" #inc ...
intel Pin简要介绍及示例程序
Intel PIN Intel PIN References 二进制动态插桩简介源插桩与二进制插桩静态插桩与动态插桩常见的动态插桩工具 Intel Pin简介 Intel pin动态插桩框架简 ...
F：大疆M300PSDKv2.1.0通过树莓派4B向pilot传输图片与视频。（只运行示例程序）
想要向pilot传输数据,纯粹的只为了运行示例程序,打通通道.那么对示例程序不需要进行任何添加,只需要添加info中的app信息. 然后按照下面的图连接然后直接运行示例程序project目录下的程序 ...
微信小程序获取用户手机号--官方示例
微信小程序获取用户手机号–官方示例 https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/getPhoneNu ...
微信小程序官方示例 Demo 源代码获取
一.引言最近在学习微信小程序,莫名其妙的刷到了腾讯官方出的小程序示例的 Demo,感觉做的真的很好. 要是自己在写小程序之前,多多参考这个 Demo 里面的一些东西,应该会轻松很多,而且做出来的 ...

SparkStreaming官方示例程序运行方式

SparkStreaming官方示例程序运行方式相关推荐

最新文章

热门文章