websocket 获取ip_Spark+Kafka+WebSocket+eCharts实时分析-完全记录（1）

本系列内容：

Kafka环境搭建与测试
Python生产者/消费者测试
Spark接收Kafka消息处理，然后回传到Kafka
Flask引入消费者
WebSocket实时显示

版本：

spark-2.4.3-bin-hadoop2.7.tgz

kafka_2.11-2.1.0.tgz

------------------------第1小节：Kafka环境搭建与测试---------------------------

1.Kafka环境搭建与测试

步骤01：解压kafka

tar -zvxf kafka_2.11-2.1.0.tgz -C /usr/local

步骤02：重命名文件夹

cd /usr/local

mv kafka_2.11-2.1.0 /usr/local/kafka

步骤03：配置broker，修改如下文件：

/usr/local/kafka/config/server.properties

将listeners和advertised.listeners节点修改如下，将localhost配置为IP，因为后面需要在windows上写程序连接broker。

如图所示：

2.测试

步骤01：进入kafka目录

cd /usr/local/kafka

步骤02：打开新窗口，启动：zk server

./bin/zookeeper-server-start.sh config/zookeeper.properties

步骤03：打开新窗口，启动：kafka broker

./bin/kafka-server-start.sh config/server.properties

步骤04：打开新窗口，创建主题：--replication-factor：副本因子，设置副本个数 --partitions：分区数

./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic bigdata

步骤05：显示主题列表

./bin/kafka-topics.sh --list --zookeeper localhost:2181

步骤06：打开新窗口，启动生产者

./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic bigdata

在命令行中输入：hello

步骤07：启动消费者：--from-beginning 表示获取消费者启动前生产者发出的消息

./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic bigdata --from-beginning

可以看到窗口中接收到了hello

注意：以上步骤，已经打开了4个shell窗口，在操作期间需要记住那个窗口启动了什么服务

如图所示：

websocket 获取ip_Spark+Kafka+WebSocket+eCharts实时分析-完全记录（1）相关推荐

chart控件做实时曲线显示_Spark+Kafka+WebSocket+eCharts实时分析-完全记录（5）
Kafka环境搭建与测试 Python生产者/消费者测试 Spark接收Kafka消息处理,然后回传到Kafka Flask引入消费者 WebSocket实时显示版本: spark-2.4.3-bi ...
python websocket爬虫_详解python websocket获取实时数据的几种常见链接方式
第一种, 使用create_connection链接,需要pip install websocket-client (此方法不建议使用,链接不稳定,容易断,并且连接很耗时) import time f ...
html通过WebSocket获取虎牙弹幕并展示
WebSocket获取虎牙弹幕并展示效果图 JWT 加密通过 WebSocket 获取弹幕内容 html 模板获取 appId 与 secret 完整代码效果图效果图: JWT 加密参考 ...
java 获取httpsession_java使用websocket，并且获取HttpSession，源码分析
转载请在页首注明作者与出处 http://www.cnblogs.com/zhuxiaojie/p/6238826.html 一:本文使用范围此文不仅仅局限于spring boot,普通的sprin ...
【行情获取】通过WebSocket使用ws协议获取黄金、外汇实时行情（行情自动推送，方便实现数据驱动下的自动交易）
文章目录前言一.WebSocket是什么? 二.使用准备 1. 引入websocket-client库 2. 获取websocket行情数据三.获取黄金行情的完整代码总结前言一.WebSo ...
python websocket库安装_Python WebSocket
安装 pip install websocket-client 先来看一下,长连接调用方式: ws = websocket.WebSocketApp("ws://echo.websocket ...
js 链接websocket马上断开_SpringBoot+WebSocket实现简单的数据推送
问题背景为什么要要用websocket呢?websocket相对于传统http协议有什么优势呢? http协议有一个缺陷,就是通信只能由客户端发起,服务器返回数据,不能做到服务器主动向客户端推送.这 ...
认识HTML5的WebSocket 认识HTML5的WebSocket
2019独角兽企业重金招聘Python工程师标准>>> 在HTML5规范中,我最喜欢的Web技术就是正迅速变得流行的WebSocket API.WebSocket提供了一个受欢迎的技 ...
echarts导入mysql数据库_Echarts最新:Django中从mysql数据库中获取数据传到echarts方式_爱安网 LoveAn.com...
关于"Echarts"的最新内容聚合阅读这篇文章主要介绍了基于vue+echarts 数据可视化大屏展示的方法示例,小编觉得挺不错的,现在分享给大家,也给大家做个参考.一起跟随 ...

websocket 获取ip_Spark+Kafka+WebSocket+eCharts实时分析-完全记录（1）

本系列内容：

websocket 获取ip_Spark+Kafka+WebSocket+eCharts实时分析-完全记录（1）相关推荐

最新文章

热门文章