CM添加kafka服务

下载所需的包：
在http://archive.cloudera.com/kafka/parcels/latest/ 选择合适parcel下载：
ubuntu14.04的cdh5.5.1对应包
http://archive.cloudera.com/kafka/parcels/latest/KAFKA-2.0.0-1.kafka2.0.0.p0.12-trusty.parcel
http://archive.cloudera.com/kafka/parcels/latest/KAFKA-2.0.0-1.kafka2.0.0.p0.12-trusty.parcel.sha1
http://archive.cloudera.com/kafka/parcels/latest/manifest.json

在http://archive.cloudera.com/csds/kafka/ 下载
http://archive.cloudera.com/csds/kafka/KAFKA-1.2.0.jar

在cm server主机：

mv KAFKA-1.2.0.jar  /opt/cloudera/csd/KAFKA-1.2.0.jar
mv KAFKA-2.0.0-1.kafka2.0.0.p0.12-trusty.parce* /opt/cloudera/parcel-repo/
mv manifest.json /opt/cloudera/parcel-repo/

进入网页：http://ha0:7180
菜单栏–主机–parcel–检查新的parcel–分配–激活

如果启动时出现内存溢出错误
在kafka配置中修改Java Heap Size of Broker 512即可

Fatal error during KafkaServerStartable startup. Prepare to shutdown
java.lang.OutOfMemoryError: Java heap spaceat java.nio.HeapByteBuffer.<init>(HeapByteBuffer.java:57)at java.nio.ByteBuffer.allocate(ByteBuffer.java:335)at kafka.log.SkimpyOffsetMap.<init>(OffsetMap.scala:43)at kafka.log.LogCleaner$CleanerThread.<init>(LogCleaner.scala:186)at kafka.log.LogCleaner$$anonfun$1.apply(LogCleaner.scala:83)at kafka.log.LogCleaner$$anonfun$1.apply(LogCleaner.scala:83)at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:245)at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:245)at scala.collection.immutable.Range.foreach(Range.scala:166)at scala.collection.TraversableLike$class.map(TraversableLike.scala:245)at scala.collection.AbstractTraversable.map(Traversable.scala:104)at kafka.log.LogCleaner.<init>(LogCleaner.scala:83)at kafka.log.LogManager.<init>(LogManager.scala:64)at kafka.server.KafkaServer.createLogManager(KafkaServer.scala:601)at kafka.server.KafkaServer.startup(KafkaServer.scala:180)at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:37)at kafka.Kafka$.main(Kafka.scala:67)at com.cloudera.kafka.wrap.Kafka$.main(Kafka.scala:76)at com.cloudera.kafka.wrap.Kafka.main(Kafka.scala)

测试：

kafka-topics --create --zookeeper ha0 --topic ggz --partitions 1 --replication-factor 1
kafka-console-producer --broker-list ha1:9092 --topic ggz
kafka-console-consumer  --zookeeper ha0 --topic ggz --from-beginning

CM添加kafka服务相关推荐

从安装Kafka服务到运行WordCount程序
之所以写这篇文章,是因为Kafka初学的同学在了解了Kafka的基本原理之后,希望在自己的机器上面运行最简单的wordCount的时候,从开始安装Kafka到找到合适的example源码最后到成功运行 ...
kafka 启动_深入理解Kafka服务端之Acceptor线程是如何启动和工作的
一.场景分析上一篇讲到了Kafka网络通信采用了Java NIO的主从Reactor多线程模型,而Acceptor就是Kafka网络通信中很重要的一个线程对象.它通过selector接收客户端的连接请 ...
取本地数据_深入理解Kafka服务端之Follower副本如何同步Leader副本的数据
一.场景分析Kafka采用的是主写主读的方式,即客户端的读写请求都由分区的Leader副本处理,那么Follower副本要想保证和Leader副本数据一致,就需要不断地从Leader副本拉取消息来进行 ...
CDH添加ELASTICSEARCH服务elasticsearch-cdh-parcels
总览从网上找CDH如何管理添加ES服务,教程千篇一律,而且es包版本相对较低,该教程介绍如何安装elasticsearch7.9(2020-08-20发布)新版本单机多实例部署. 角色分配 mast ...
解决CDH 安装Kafka服务中的各种问题
通过CDH安装Kafka服务常见问题一.内存溢出问题在Kafka配置页面搜索Java调整对应的Java堆大小,如下图操作: 二.启动Kafka MirrorMaker服务失败提示whitelist ...
「Kafka核心源码剖析系列」4. 走进Kafka服务端（下）
作者 | 吴邪大数据4年从业经验,目前就职于广州一家互联网公司,负责大数据基础平台自研.离线计算&实时计算研究编辑 | auroral-L 全文共6710字,预计阅读35分钟. 第四章 ...
简单介绍Windows中将Nginx添加为服务的问题
这篇文章主要介绍了Windows中将Nginx添加为服务的问题,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下在使用LeafLet写离线地图时,需要将Ngi ...
服务中添加mysql服务_Windows平台下在服务中添加MySQL
widows下查看服务 1.桌面计算机-->右键-->管理-->计算机管理(本地)--->服务和应用程序-->服务 2.运行中输入 services.msc 在服务中添 ...
arm linux 添加ntp服务,嵌入式linux添加NTP服务
版本信息: Linux version 4.1.15 需求: RTC时间不够精确,过一段时间就可以看出和实际时间有明显出入,有必要添加NTP服务,使系统可以与网络同步时间. 首先把NTP服务build ...
Centos7 install Openstack - (第三节)添加镜像服务(Glance)
Centos7 install Openstack - (第三节)添加镜像服务(Glance) 我的blog地址:http://www.cnblogs.com/caoguo 该文根据openstack ...

CM添加kafka服务

CM添加kafka服务相关推荐

最新文章

热门文章