一、实现功能

Kafka是消息队列的一种实现。A模块发送数据到kafka， B模块从kafka中获取数据。这样可以避免消息过多对处理消息服务器造成过大压力，消息可以先缓存在kafka然后，消费者从kafka中提取数据消费。

二、部署和配置

1.前提条件

(1) 搭建jdk环境 => jdk1.8.x
(2)搭建scala环境 => scala2.11.8
(3)搭建zookeeper=>zookeeper-3.4.5-cdh5.15.0

2.解压

tar -zxvf /opt/softwares/kafka_2.10-0.8.2.1.tgz -C /opt/modules/

3.更改config文件夹中的Kafka服务配置项：server.properties

broker.id=0
## 给定broker的id的值，在一个kafka集群中该参数必须唯一
port=9092
## 监听的端口号，默认9092，需要保证改端口没有被使用
host.name=hadoop
## 监听的主机名，默认是localhost，需要更改为hostname
log.dirs=/opt/modules/kafka_2.10-0.8.2.1/data/0
## 指定kafka存储磁盘的路径，可以使用","分割，给定多个磁盘路径；如果服务器挂载多个磁盘，可以将kafka的数据分布存储到不同的磁盘中(每个磁盘写一个路径)，对于Kafka的数据的读写效率有一定的提升（场景：高并发、大数据量的情况）
zookeeper.connect=hadoop:2181/kafka08
## 配置kafka连接zk的相关信息，连接url以及kafka数据存储的zk根目录；这里的配置含义是：连接hadoop机器2181端口的zookeeper作为kafka的元数据管理zk，zk中使用/kafka08作为kafka元数据存储的根目录，默认kafka在zk中的根目录是zk的顶级目录("/")

如果有多个server.properties例如server1.properties,server2.properties,server3.properties,则依次累加一下三个参数

broker.id=1port=9093log.dirs=/opt/modules/kafka_2.10-0.8.2.1/data/1

备注：****

针对kafka_2.11-0.9.0.0，如果远程使用spark api连接，需要配置。否则，是消费是本地local的。

listeners=PLAINTEXT://hadoop:9092

针对：kafka_2.11-2.4.1的版本，参考文章

https://mp.csdn.net/mp_blog/creation/editor/82973573

4.启动kafka

（1）启动zk

bin/zkServer.sh start

（2）启动kafka

bin/kafka-server-start.sh config/server.properties

后台启动kafka

bin/kafka-server-start.sh -daemon config/server.properties
bin/kafka-server-start.sh -daemon config/server1.properties
bin/kafka-server-start.sh -daemon config/server2.properties
bin/kafka-server-start.sh -daemon config/server3.properties

（3）关闭Kafka服务

会将当前机器上的所有broker全部关闭

bin/kafka-server-stop.sh

(经测试，成功~）

阿里云搭建大数据平台（9）：kafka安装部署和测试相关推荐

golang 大数据平台_大数据平台是什么？有哪些功能？如何搭建大数据平台？
大数据平台是为了满足企业对于数据的各种要求而产生的. 大数据平台: 是指以处理海量数据存储.计算及不间断流数据实时计算等场景为主的一套基础设施.典型的包括Hadoop系列.Spark.Storm.Fl ...
在阿里云中搭建大数据实验环境
云计算是和自来水一样的商业模式.有了自来水,我们可以不用自己挖井,就可以快速.便捷.廉价地获得水资源.而有了云计算,我们就可以不用自己建机房.买设备.维护系统,就可以快速.便捷.廉价地获得IT资源(C ...
【Workshshop No.3 | Kyligence X 青云QingCloud Workshop】零基础搭建云上大数据平台
7月13日Kyligence 与青云QingCloud 联合举办的"零基础搭建云上大数据平台" Workshop诚邀您参加. Kyligence Cloud 是 Kyligence ...
阿里云发布大数据产品ODPS 6小时处理100PB数据
阿里云发布大数据产品ODPS 6小时处理100PB数据阿里云发布ODPS 可分析PB级海量数据新浪科技讯 7月8日下午消息,阿里云计算发布大数据产品--ODPS.通过ODPS在线服务,小型公 ...
自拍会不会被大数据_不会搭建大数据平台，我被老板优化了...
[51CTO.com原创稿件]随着业务的飞速发展,信息化作为业务的支撑,各个企业都建立了自己的信息化系统. 图片来自 Pexels 在业务增涨过程中,每个企业不知不觉积累积累了一些数据.无论数据是多是 ...
网鱼网咖-利用数加快速搭建大数据平台，极致洞察，为客户带来从所未有的体验。...
免费开通大数据服务:https://www.aliyun.com/product/odps "令人惊喜的是,利用阿里云的数加平台,我们差不多一个多月就搭建好了大数据平台,并且可以通过图形化的 ...
网鱼网咖-利用数加快速搭建大数据平台，极致洞察，为客户带来从所未有的体验。
免费开通大数据服务:https://www.aliyun.com/product/odps "令人惊喜的是,利用阿里云的数加平台,我们差不多一个多月就搭建好了大数据平台,并且可以通过图形化的 ...
数梦工场联手阿里云推出大数据一体机
本文讲的是数梦工场联手阿里云推出大数据一体机[IT168 云计算]8月19日消息,作为全球领先的云计算和大数据场景化开发与服务提供商,数梦工场依托阿里云"飞天"大规模分布式计算系 ...
离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进
简介:阿里云智能研究员林伟 :阿里巴巴从湖到仓的演进给我们带来了湖仓一体的思考,使得湖的灵活性.数据种类丰富与仓的可成长性和企业级管理得到有机融合,这是阿里巴巴最佳实践的宝贵资产,是大数据的新一代架 ...
从0到1搭建大数据平台之数据存储
大家好,我是脚丫先生 (o^^o) 近日参加了集团大数据平台之流批一体的建设. 流批一体,从调研直至研发.日日夜夜,泪流满面. 作业以:sql.jar.组件拖拽三种方式去提交实时任务,终究还是攻克. ...

阿里云搭建大数据平台（9）：kafka安装部署和测试