kafka认知--（1）

文档参考：http://kafka.apache.org/documentation.html

下载代码：

tar -xzf kafka_2.11-0.11.0.0.tgz

cd kafka_2.11-0.11.0.0

启动

bin/zookeeper-server-start.sh config/zookeeper.properties

创建topic（主题为test，只有一个分区，一个副本）

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查看topic

bin/kafka-topics.sh --list --zookeeper localhost:2181

发送消息

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

启动消费者

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

设置多集群：

config/server.properties config/server-1.properties

config/server.properties config/server-2.properties

配置文件

config/server-1.properties:

broker.id=1

listeners=PLAINTEXT://:9093

log.dir=/tmp/kafka-logs-1

config/server-2.properties:

broker.id=2

listeners=PLAINTEXT://:9094

log.dir=/tmp/kafka-logs-2

该broker.id属性是集群中的每个节点的唯一和永久的名字

转载于:https://www.cnblogs.com/liutiantian/p/7262213.html

kafka认知--（1）相关推荐

【Kafka】Kafka数据可靠性深度解读
2019独角兽企业重金招聘Python工程师标准>>> Kafka起初是由LinkedIn公司开发的一个分布式的消息系统,后成为Apache的一部分,它使用Scala编写,以可水平扩 ...
搞透Kafka的存储架构，看这篇就够了
阅读本文大约需要30分钟.这篇文章干货很多,希望你可以耐心读完. 从这篇文章开始,我将对 Kafka 专项知识进行深度剖析, 今天我就来聊聊 kafka 的存储系统架构设计, 说到存储系统,大家可能对 ...
IBM和Lightbend宣布构建新认知开发平台的战略
IBM近期宣布将对Lightbend做战略投资.Lightbend是响应式编程的先行者,同时也是Scala语言的支持公司(译者注:参见InfoQ报道"Typesafe公司正式更名为Light ...
历史性难题——如何为Kafka挑选合适的分区数？
作者:朱小厮来源:朱小厮的博客如何为Kafka挑选合适的分区数?很多人都为这个问题伤过脑筋. 从吞吐量方面考虑,增加合适的分区数可以很大程度上提升整体吞吐量,但是超过对应的阈值之后吞吐量不升反降. ...
Apache Kafka：大数据的实时处理时代
在过去几年,对于 Apache Kafka 的使用范畴已经远不仅是分布式的消息系统:我们可以将每一次用户点击,每一个数据库更改,每一条日志的生成,都转化成实时的结构化数据流,更早的存储和分析它们,并从 ...
消息系统kafka原理解析
Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统,后成为Apache的一部分,它使用Scala编写,以可水平扩展和高吞吐率而被广泛使用.目前越来越多的开源分布式处理系统如Clouder ...
新书《深入理解Kafka：核心设计与实践原理》上架，感谢支持~
新书上架初识 Kafka 时,笔者接触的还是 0.8.1 版本,Kafka 发展到目前的 2.x 版本,笔者也见证了Kafka的蜕变,比如旧版客户端的淘汰.新版客户端的设计.Kafka 控制器的迭代 ...
kafka数据可靠性深度解读
本文收录于InfoQ,未经允许不得转载. 欢迎支持笔者新作:<深入理解Kafka:核心设计与实践原理>和<RabbitMQ实战指南>,同时欢迎关注笔者的微信公众号:朱小厮的博客 ...
如果现在还要设计一个新系统，为什么选择 Kafka 而不是 RabbitMQ？
最近看到了个重磅消息,即将发布的 Kafka 2.8 版本会移除 ZooKeepeer,这可是 Kafka 在架构上的重大升级.让一向"重量级"的 Kafka 从此变得简单了起来, ...

kafka认知--（1）

kafka认知--（1）相关推荐

最新文章

热门文章