Centos7安装netcat运算sparkStreaming进行单词统计

安装命令：

yum install nc

监听端口

nc -l -k -p 6666

启动Sparkstreaming 程序

package streamingimport org.apache.spark.SparkConf
import org.apache.spark.streaming.dstream.DStream
import org.apache.spark.streaming.{Seconds, StreamingContext}/*** spark streaming 处理socket数据*/
object NetworkWordCount {def main(args: Array[String]): Unit = {val spar: SparkConf = new SparkConf().setMaster("local[2]").setAppName("NetworkWordCount")val ssc = new StreamingContext(spar,Seconds(5))val lines = ssc.socketTextStream("192.168.100.100",6666)val result: DStream[(String, Int)] = lines.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)result.print()ssc.start()ssc.awaitTermination()}}

在监听端口输出单词以空格切割，才程序运行端查看结果

转载于:https://www.cnblogs.com/itBulls/articles/9697412.html

Centos7安装netcat运算sparkStreaming进行单词统计相关推荐

Centos7 安装netcat（NC瑞士军刀）
1.下载下载地址:https://sourceforge.net/projects/netcat/files/netcat/0.7.1/ 下载的是netcat-0.7.1.tar.gz版本 2.安装 ...
sparkStreaming流式处理，接受socket数据，实现单词统计并且每个批次数据结果累加
package com.spark.streamingimport org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream} ...
C语言怎么实现单词下落,如何用c语言实现单词统计
如何用c语言实现单词统计输入一串字符串,输出其中有多少个单词. 代码如下:#include #include #define SIZE 20 int main(){ char str[SIZE]={ ...
centos7 安装配置mesos+marathon+zookeeper
2019独角兽企业重金招聘Python工程师标准>>> 1,mesos介绍 Mesos诞生于UC Berkeley的一个研究项目,现已成为Apache Incubator中的项目.M ...
启动Spark Shell,在Spark Shell中编写WordCount程序，在IDEA中编写WordCount的Maven程序，spark-submit使用spark的jar来做单词统计
1.启动Spark Shell spark-shell是Spark自带的交互式Shell程序,方便用户进行交互式编程,用户可以在该命令行下用scala编写spark程序.要注意的是要启动Spark-S ...
Centos7安装PostgreSQL 12.4 + postgis安装
Centos7安装PostgreSQL 12.4 + postgis安装环境:Centos7.8-Mini + PostgreSQL 12.4 + # 关闭防火墙 systemctl stop f ...
MapReduce之单词统计
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 MapReduce单词统计一.搭建环境二.编写WordCount程序 1.在IDEA中引入所需的jar包,IDEA支持文件夹方式引 ...
Centos7 安装clamav杀毒
Centos7 安装clamav杀毒一.下载安装 1.下载 wget https://www.clamav.net/downloads/production/clamav-0.102.0.tar.g ...
VM虚拟机安装centos7安装linux常用操作说明xshell/xftp使用
转载原著 bilibili (1)vm安装安装包:位于VM主程序+共享Tools文件夹下. 安装教程 (2)centos7安装安装包安装教程经典安装教程 (3)阿里云服务器购买学生党白嫖阿里 ...

Centos7安装netcat运算sparkStreaming进行单词统计

Centos7安装netcat运算sparkStreaming进行单词统计相关推荐

最新文章

热门文章