分布式发布订阅消息系统Kafka单实例测试

1、Kafka简介
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。
kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例(server)成为broker。
无论是kafka集群，还是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息。

2、Kafka安装和启动

1)下载并解压kafka_2.10-0.10.1.1.tgz
#tar -xzvf kafka_2.10-0.10.1.1.tgz

2)下载并解压zookeeper-3.4.6.tar.gz
#tar -xzvf zookeeper-3.4.6.tar.gz

3)启动单实例Zookkeeper服务
#cd zookeeper-3.4.6
conf文件夹中新建名zoo.cfg文件，可复制zoo_sample.cfg文件进行相应修改。
启动服务：
#bin/zkServer.sh &

4)启动Kafka服务
#cd kafka_2.10
配置config/server.properties相应信息，如zookeeper.connect；
启动服务：
#bin/kafka-server-start.sh config/server.properties &

3、测试：
1)创建topic
#bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test0307
通过list命令查看创建的topic:
#bin/kafka-topics.sh --list --zookeeper localhost:2181
2)生产消息
Kafka 使用一个简单的命令行producer，从文件中或者从标准输入中读取消息并发送到服务端。
默认的每条命令将发送一条消息。运行producer并在控制台中输一些消息，这些消息将被发送到服务端：
#bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test0307
I am testing kafka for inputing message into HDFS.
不发送就ctrl+c退出。
3)消费消息
Kafka命令行consumer可以读取消息并输出到标准输出：
#bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test0307 --from-beginning

4、后续待研究：
1）这是单实例测试，可以在一台机子上配置多个broker，也可以建立kafka集群。
2）kafka的producer可以来自flume的sink，其consumer可以输出到hdfs中。
参考：http://www.cnblogs.com/cssdongl/p/6077311.html

分布式发布订阅消息系统Kafka单实例测试相关推荐

kafka内存不断增加_分布式发布订阅消息系统Kafka 为什么快
Kafka 为什么能那么快 | Kafka高效读写数据的原因无论 kafka 作为 MQ 也好,作为存储层也罢,无非就是两个功能(好简单的样子),一是 Producer 生产的数据存到 broker ...
为什么rocketmq的queue分为读写?_分布式发布订阅消息系统Kafka 为什么快
Kafka 为什么能那么快 | Kafka高效读写数据的原因无论 kafka 作为 MQ 也好,作为存储层也罢,无非就是两个功能(好简单的样子),一是 Producer 生产的数据存到 broker ...
kafka session.timeout.ms 是指消费一条数据的时间?_阿里工程师分享：浅谈分布式发布订阅消息系统Kafka...
Kafka的基本介绍 Kafka是最初由Linkedin公司开发,是一个分布式.分区的.多副本的.多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/ngi ...
分布式发布订阅消息系统 Kafka 架构设计 - 目前见到的最好的Kafka中文文章
转自:http://www.oschina.net/translate/kafka-design 参与翻译(4人):fbm, 飞翔的猴子, Khiyuan, nesteaa 感谢这些同志们的辛勤工作, ...
kafka 基础知识梳理-kafka是一种高吞吐量的分布式发布订阅消息系统
一.kafka 简介今社会各种应用系统诸如商业.社交.搜索.浏览等像信息工厂一样不断的生产出各种信息,在大数据时代,我们面临如下几个挑战: 如何收集这些巨大的信息如何分析它如何及时做到如上两点 ...
分布式发布订阅消息系统—Apache Kafka
1.什么是Kafka Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据. 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键 ...
Kafka(分布式发布-订阅消息系统)
一.简介 Apache Kafka是分布式发布-订阅消息系统,在 kafka官网上对 kafka 的定义:一个分布式发布-订阅消息传递系统. 它最初由LinkedIn公司开发,Linkedin于201 ...
Kafka架构设计：分布式发布订阅消息系统
[http://www.oschina.net/translate/kafka-design](较长:很详细的讲解) [我们为什么要搭建该系统] 用作LinkedIn的活动流(activity str ...
Kafka分布式发布订阅消息系统

分布式发布订阅消息系统Kafka单实例测试

分布式发布订阅消息系统Kafka单实例测试相关推荐

最新文章

热门文章