通过spark-submit，本地测试SparkStreaming

Spark的代码是在GitHub上托管的，如果想看源码，可以访问：GitHub。至于SparkStreaming等功能，有个测试案例的包，

sparkStreaming的案例地址：https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/streaming

我们以NetworkWordCount.scala 为例进行测试。注意：我们假设你已经安装并配置好了spark环境，并在服务器上安装了瑞士军刀，即nc。

1、在当前窗口（A窗口）开启一个nc，端口号使用9999

nc -lk 9999

2、重新打开一个窗口（B窗口），通过spark-submit 提交spark作业

spark-submit --master local[*] --class org.apache.spark.examples.streaming.NetworkWordCount --name wordCount /opt/spark/examples/jars/spark-examples_2.11-2.0.1.jar localhost 9999

注：

1）、--master local[*] 是指通过本地方式提交作业，*是尽可能多的使用线程数，可以改为数字，但是需要大于1，因为master需要一个线程，

而sparkStreaming的每一个Receivers都需要一个线程，所以最少要两个线程。

2）、--class 为启动类，--name 为作业名字，再后面是jar文件，

3）、localhost 9999 为参数，具体可以参考NetworkWordCount.scala中的代码，是指nc的端口和ip地址

3、在窗口A输入一行文本后，可以看到窗口B会统计单词频率

A窗口输入：

B窗口可以看到

转载于:https://www.cnblogs.com/chenyongxiang/p/8728463.html

通过spark-submit，本地测试SparkStreaming相关推荐

【原创】大数据基础之Spark（1）Spark Submit即Spark任务提交过程
Spark2.1.1 一 Spark Submit本地解析 1.1 现象提交命令: spark-submit --master local[10] --driver-memory 30g --cla ...
50.Spark大型电商项目-用户访问session分析-top10热门品类之本地测试
本篇文章记录用户访问session分析-top10热门品类之本地测试. 在测试的过程中,到很多问题. 问题一:二次排序需要序列化,否则会在程序运行的时候报错. public class Categor ...
spark：开发本地测试的wordcount程序
1.使用Java开发本地测试的wordcount程序-1 2.使用Scala开发本地测试的wordcount程序-1 测试文件上传: hadoop fs -put wordcount.txt /wor ...
Spark本地测试异常之 System memory 259522560 must be at least 471859200.
解决Spark本地测试异常之 System memory 259522560 must be at least 471859200 一.异常如下二.抛出异常原因三.解决办法一.异常如下 java ...
Spark读取本地文件和HDFS文件
前言旁边的实习生又一脸懵逼了:Spark有bug,明明我本地/data目录下有test.txt文件,但运行就报错: Caused by: java.io.FileNotFoundException: ...
Spark On Yarn --jars/spark.yarn.jars 踩坑与提升spark submit速度
一.引言 Spark submit 可以选择 --jars 传入本地的jar也可以 --jars 传入HDFS的jar包,经过半下午的实验,终于搞清了两者的关系以及 spark.yarn.jars 和 ...
spark submit提交任务一直卡在ACCEPTED状态
千辛万苦写好代码,打成jar包,spark submit提交运行到yarn 然后默默打开yarn界面查看运行的任务,但是半天不见任务名称,这可就奇了怪了查看 yarn application --l ...
spark submit参数及调优
spark submit参数及调优原文地址 spark submit参数介绍你可以通过spark-submit --help或者spark-shell --help来查看这些参数. 使用格式: ...
spark submit参数及调优(转载)
spark submit参数介绍你可以通过spark-submit --help或者spark-shell --help来查看这些参数. 使用格式: ./bin/spark-submit \--c ...

通过spark-submit，本地测试SparkStreaming

通过spark-submit，本地测试SparkStreaming相关推荐

最新文章

热门文章