本地模式运行spark streaming程序（win7安装nc命令通信）

2019独角兽企业重金招聘Python工程师标准>>>

首先在win7上安装nc命令下载nc程序包，放在c盘目录下，cmd打开命令行，进入nc目录，执行：nc -l -L -p 8888开始监控。再打开一个命令行窗口进入nc目录，执行nc localhost 8888命令进行测试，此时，再新开的窗口下输入hello world回车，即可在监控目录下打印出来。

下面就可以写scala代码进行实验了，Scala代码：

package cn.hhb.spark.streamingimport org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.{SparkConf}/*** streaming测试.*/
object SparkstreamingDemo {def main(args: Array[String]) {val conf = new SparkConf().setAppName("SparkstreamingDemo").setMaster("local[*]").set("spark.testing.memory", "2147480000")val ssc = new StreamingContext(conf, Seconds(1))val lines = ssc.socketTextStream("localhost", 8888)val words = lines.flatMap(_.split(" "))val pairs = words.map((_,1))val result = pairs.reduceByKey(_ + _)// 输出结果result.print()// 开始计算ssc.start()// 等待结束ssc.awaitTermination()}
}

运行起来之后关闭测试的cmd命令行窗口，在nc -l -L -p 8888窗口下输入数据，回车之后，即可在控制台中打印出结果了。

值得注意的是：在设置master的时候，setMaster("local[]")一定要在local后面加上[]，里面写上或者2或者4，不填或者填1控制台都不会打印出结果，但是又不报错，切记

补注：本地使用流计算，不能使用local[1]，该设置意味着只有一个线程执行task，因此如果使用基于receive的DStream，该线程只能接收数据，没有线程进行计算工作了，使用local[n]，n > 接收者个数

转载于:https://my.oschina.net/hehongbo/blog/1542505

本地模式运行spark streaming程序（win7安装nc命令通信）相关推荐

彻底禁用Chrome的“请停用以开发者模式运行的扩展程序”提示
前言作为一个前端程序员,难免会有一些专属自己的小扩展,没必要每一个都发到Chrome应用商店去,虽然可以勾选"开发者模式"来运行本地插件,但是每次启动都会有一个烦人的" ...
Chrome提示:＂请停用以开发者模式运行的扩展程序＂的解决办法
chrome用户在安装了一些第三方的chrome插件后,每次打开浏览器的时候都会出现"请停用以开发者模式运行的扩展程序"的提示,只有每次点击取消之后才能正常使用扩展.如下图所示每 ...
请停用以开发者模式运行的扩展程序
解决 chrome "请停用以开发者模式运行的扩展程序'' 弹窗问题 @说在前头系统是win10或win7,Chrome 是 76.0 版本,新版本(目前是Chrome 76.0),新版本 ...
请停用以开发者模式运行的扩展程序？搞定谷歌浏览器插件弹窗
苏生不惑第137篇原创文章,将本公众号设为星标,第一时间看最新文章. 关于谷歌浏览器之前写过很多实用扩展: 那些我常用的 Chrome 扩展那些我常用的 Chrome 扩展(二) 那些我常用的 Ch ...
Selenium启动Chrome浏览器提示“请停用以开发者模式运行的扩展程序”的解决办法
安装了selenium,python运行下面代码: from selenium import webdriverbrowser = webdriver.Chrome() browser.get('ht ...
strom-1.1.0模拟单词统计功能，Spout编写，Bolt编写，TopologyDriver编写，本地模式运行，集群模式运行，集群模式下看输出结果
统计文本中的单词出现的频率,其中文本内容如下: 创建项目项目结构如下: 创建pom.xml,代码如下: <?xml version="1.0" encoding=" ...
如何完全屏蔽Chrome的提示:请停用以开发者模式运行的扩展程序
参考链接: chrome怎么安装非官方市场的插件? https://www.zhihu.com/question/24027794 屏蔽Google Chrome安装第三方插件之后反复提示" ...
【Windows 问题系列第 16 篇】如何去除 Chrome 中的请停用以开发者模式运行的扩展程序
这是[Windows 问题系列第 16 篇],如果觉得有用的话,欢迎关注专栏. 你是否遇到过这样的问题,每次登陆 Chrome 浏览器的时候,右上角总会弹出来下面这个界面让你停用以开发者模式运行的扩 ...
谷歌浏览器——请停用以开发者模式运行的扩展程序
浏览器提示:请停用以开发者模式运行的扩展程序解决方案:使用补丁解决,将补丁放入包含chrome.dll文件的目录下执行.如果出现执行不成功,请尝试右键以管理员权限运行.执行结果只要有一个显示执行成功 ...

本地模式运行spark streaming程序（win7安装nc命令通信）

本地模式运行spark streaming程序（win7安装nc命令通信）相关推荐

最新文章

热门文章