新闻网大数据实时分析可视化系统项目——7、Kafka分布式集群部署
Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。
1.下载Kafka并安装
1)下载Apache版本的Kafka。
2)下载Cloudera版本的Kafka。
3)这里选择下载Apache版本的kafka_2.11-0.8.2.1.tgz ,然后上传至bigdata-pro01.kfk.com节点/opt/softwares/目录下
4)解压Kafka
tar -zxf kafka_2.11-0.8.2.1.tgz -C /opt/modules/
2.Kafka集群配置
1)配置server.properties文件
vi kafka_2.11-0.8.2.1
#节点唯一标识
broker.id=0
#默认端口号
port=9092
#主机名绑定
host.name=bigdata-pro01.kfk.com
#Kafka数据目录
log.dirs=/opt/modules/kafka_2.11-0.8.2.1/tmp/kafka-logs
#配置Zookeeper
zookeeper.connect=bigdata-pro01.kfk.com:2181,bigdata-pro02.kfk.com:2181,bigdata-pro03.kfk.com:2181
2)配置zookeeper.properties文件
vi zookeeper.properties
#Zookeeper的数据存储路径与Zookeeper集群配置保持一致
dataDir=/opt/modules/zookeeper-3.4.5-cdh5.10.0/zkData
3)配置consumer.properties文件
#配置Zookeeper地址
zookeeper.connect=bigdata-pro01.kfk.com:2181,bigdata-pro02.kfk.com:2181,bigdata-pro03.kfk.com:2181
4)配置producer.properties文件
#配置Kafka集群地址
metadata.broker.list=bigdata-pro01.kfk.com:9092,bigdata-pro02.kfk.com:9092,bigdata-pro03.kfk.com:9092
5)Kafka分发到其他节点
scp -r kafka_2.11-0.8.2.1 bigdata-pro02.kfk.com:/opt/modules/
scp -r kafka_2.11-0.8.2.1 bigdata-pro03.kfk.com:/opt/modules/
6)修改另外两个节点的server.properties
#bigdata-pro02.kfk.com节点
broker.id=1
host.name=bigdata-pro02.kfk.com
#bigdata-pro03.kfk.com节点
broker.id=2
host.name=bigdata-pro03.kfk.com
3.启动Kafka集群并进行测试
1)各个节点启动Zookeeper集群
bin/zkServer.sh start
2)各个节点启动Kafka集群
bin/kafka-server-start.sh config/server.properties &
3)创建topic
bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic test --replication-factor 1 --partitions 1
4)查看topic列表
bin/kafka-topics.sh --zookeeper localhost:2181 --list
5)生产者生成数据
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
6)消费者消费数据
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
转载于:https://www.cnblogs.com/ratels/p/10844719.html
新闻网大数据实时分析可视化系统项目——7、Kafka分布式集群部署相关推荐
- 基于Spark2.x新闻网大数据实时分析可视化系统项目
本次项目是基于企业大数据经典案例项目(大数据日志分析),全方位.全流程讲解 大数据项目的业务分析.技术选型.架构设计.集群规划.安装部署.整合继承与开发和web可视化交互设计. 项目代码托管于gith ...
- 新闻网大数据实时分析可视化系统项目——5、Hadoop2.X HA架构与部署
1.HDFS-HA架构原理介绍 hadoop2.x之后,Clouera提出了QJM/Qurom Journal Manager,这是一个基于Paxos算法实现的HDFS HA方案,它给出了一种较好的解 ...
- 新闻网大数据实时分析可视化系统项目——14、Spark2.X环境准备、编译部署及运行...
1.Spark概述 Spark 是一个用来实现快速而通用的集群计算的平台. 在速度方面, Spark 扩展了广泛使用的 MapReduce 计算模型,而且高效地支持更多计算模式,包括交互式查询和流处理 ...
- 新闻网日志实时分析可视化系统项目
本次项目是基于企业大数据经典案例项目(大数据日志分析),全方位.全流程讲解 大数据项目的业务分析.技术选型.架构设计.集群规划.安装部署.整合继承与开发和web可视化交互设计. 项目代码托管于gith ...
- 视频教程-赵强老师:大数据从入门到精通(12)集群HA-Hadoop
赵强老师:大数据从入门到精通(12)集群HA 毕业于清华大学,拥有超过13年的工作经验. Oracle认证讲师,拥有6年以上授课经验.精通Oracle数据库.中间(Weblogic)和大数据Hadoo ...
- quartz分布式集群部署并且可视化配置job定时任务
2019独角兽企业重金招聘Python工程师标准>>> 项目使用quartz框架完成了定时任务集群部署调度,并且对quartz进一步封装完成在web界面可动态配置定时任务.定时任务如 ...
- 2021年大数据Spark(六):环境搭建集群模式 Standalone
目录 环境搭建-Standalone 前言 Standalone 架构 集群规划 修改配置并分发 修改slaves 分发到其他机器 修改spark-env.sh 集群启动和 ...
- 【大数据】分布式集群部署
1.集群规划部署 节点名称 NN1 NN2 DN RM NM hadoop01 NameNode DataNode NodeManager hadoop02 SecondaryNameN ...
- 【大数据之Hadoop】三十一、HDFS集群迁移之Apache和Apache集群间数据拷贝
数据迁移场景: 冷热集群数据分类存储:集群数据整体迁移:数据的准实时同步,目的在于数据的双备份可用. 数据迁移需要考虑的因素: 带宽.性能.增量同步(原始数据文件进行了追加写.被删除或重命名) ...
最新文章
- jenkins配置权限不对导致无法登陆或者空白页面解决办法
- windows server 2003 DNS 细谈系列之(二)记录类型、数据库
- mysql读出varchar乱码_pymssql读取varchar字段中文显示乱码的问题分析
- c语言程序设计的反思,C语言程序设计教学反思.doc
- angularJs关于指令的一些冷门属性
- svn回退到上一个版本_Git实用教程(一) | 为什么需要版本控制?(以嵌入式项目开发为例)...
- mysql的介绍和安装
- 第三方登录页面java_第三方登录接口使用说明(JAVA)
- 2019年上海春运志愿服务启动 3000余名志愿者守护归乡路
- @EnableWebMvc引发的swagger-ui.html的灾难
- 教你玩转私域流量+会员运营体系
- 【双轨】分销+量碰+返利+加权分红源码系统 演示网站
- 文本编辑器(vim)
- 计算机页面打不开非常卡,电脑卡的厉害几乎打不开网页怎么办
- LNMP搭建kodcloud个人私有网盘
- chm文件打不开的问题
- {“error“:{“root_cause“:[{“type“:“script_exception“,“reason“:“compile error“,“script_stack“:[“... par
- TDM阅读笔记,在推荐系统的应用
- 这个团队做的事情,每天为美团平台带来50%以上的交易量
- unity碰撞检测识别对象的几种方法,刚体篇