【Kafka】测试Kafka整合Flume

本文简单测试Kafka整合Flume，从而实现"日志 -> Flume -> Kafka"。
操作环境：
Kafka版本：1.0.1
Flume版本：1.6.0
测试前需满足以下条件:

已安装Kafka和Flume

Kafka已启动

Zookeeper已启动

1. 配置Flume的conf文件

vi /home/hadoop/flume-kafka.conf
#添加如下内容#命名source/channel/sink
a1.sources = r1
a1.channels = c1
a1.sinks = k1#指定source策略
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /home/hadoop/kafka-test
a1.sources.r1.inputCharset = utf-8#指定source的管道
a1.sources.r1.channels = c1#指定channel为memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100#指定sink为kafka sink，并指定sink的取数channel
a1.sinks.k1.channel = c1
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic = kafka-test
a1.sinks.k1.kafka.bootstrap.servers = node01:9092,node02:9092,node03:9092
a1.sinks.k1.kafka.flumeBatchSize = 20
a1.sinks.k1.kafka.producer.acks = 1

2. 创建Flume的监控目录

mkdir -p /home/hadoop/kafka-test

3. Kafka创建topic

kafka-topics.sh --create --topic kafka-test --partitions 3 --replication-factor 2 --zookeeper node01:2181,node02:2181,node03:2181

4. 启动Flume

 bin/flume-ng agent -n a1 -c conf -f /home/hadoop/flume-kafka.conf -Dflume.root.logger=info,console

5. 启动Kafka消费者

kafka-console-consumer.sh -topic kafka-test --bootstrap-server node01:9092,node02:9092,node03:9092 --from-beginning

6. 测试效果

6.1 Flume监控目录生成文件

echo "hello world" >> /home/hadoop/kafka-test/test.txt

6.2 Kafka中已消费到数据

总结

Kafka + Flume集合了两者优点，是常用的日志传输方案。
二者整合时，关键是如何配置Flume的conf文件，配置方案也可参考Flume官网。

【Kafka】测试Kafka整合Flume相关推荐

Kafka+Storm+HDFS整合实践
2019独角兽企业重金招聘Python工程师标准>>> 在基于Hadoop平台的很多应用场景中,我们需要对数据进行离线和实时分析,离线分析可以很容易地借助于Hive来实现统计分析,但 ...
sparkstreaming监听hdfs目录_flume kafka和sparkstreaming整合
本文介绍Flume.Kafka和Sparkstreaming的整合.代码流程是,我们通过shell脚本重播测试轨迹数据到指定轨迹文件中,使用Flume监听该轨迹数据文件,实时将轨迹数据发送到Kafka ...
SpringBoot整合kafka之kafka分区实战
本文来说下SpringBoot整合kafka之kafka分区实战文章目录准备工作程序代码程序测试本文小结准备工作当然我们也可以不手动创建topic,在执行代码kafkaTemplate. ...
Structured Streaming + Kafka测试
前言 Structured Streaming出来有几年了,一直没有机会使用,最近闲来无事,就想先测试一下,完全没有细看关于它的一些详细介绍情况,仅仅想根据官网案例,执行一遍,没想到- copy官网的 ...
一款小巧的kafka测试工具
Kafka_tools 一款小巧的kafka测试工具支持简单的kafka连接检测以及简单发送.接收测试暂时不支持带验证的kafka!!! 使用方法不会打包使用? 软件截图 git地址一款小巧的 ...
kafka(组件分析整合springboot集成实战)
kafka 组件搭建 springboot集成实战 kafka 组件搭建 springboot集成实战 1.应用场景 1.1 kafka场景 1.2 kafka特性 1.3 消息对比 1.4 ...
Spark Streaming整合flume实战
Spark Streaming对接Flume有两种方式 Poll:Spark Streaming从flume 中拉取数据 Push:Flume将消息Push推给Spark Streaming 1.安装 ...
【檀越剑指大厂—kafka】kafka高阶篇
一.认识 kafka 1.kafka 的定义? Kafka 传统定义:Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域.发布/订阅:消 ...
【Kafka】Kafka 如果动态不停止的情况下修改消费组 offset
文章目录 1.概述 2.方案1 3.方案2 1.概述测试点:有人遇到这样的情况,他一个消费者正在消费一个环境的topic,然后他想启动另外一个消费组,但是是使用了同一个消费组,这个去更改消费组of ...

【Kafka】测试Kafka整合Flume

1. 配置Flume的conf文件

2. 创建Flume的监控目录

3. Kafka创建topic

4. 启动Flume

5. 启动Kafka消费者

6. 测试效果

6.1 Flume监控目录生成文件

6.2 Kafka中已消费到数据

总结

【Kafka】测试Kafka整合Flume相关推荐

最新文章

热门文章