flume采集最简demo

1、安装jdk1.8以上

2、解压flume

tar -zxvf  apache-flume-1.9.0-bin.tar.gz
cd  apache-flume-1.9.0-bin/conf
cp  flume-env.sh.template  flume-env.sh
vim conf/flume-env.sh
JAVA_HOME=/soft/jdk1.8.0_101

3、验证是否成功

/bin/flume-ng version
Flume 1.9.0
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git

4、案例
创建demo.conf

touch demo.conf

写入

# example.conf: A single-node Flume configuration# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444# Describe the sink
a1.sinks.k1.type = logger# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

5、启动

bin/flume-ng agent --conf conf --conf-file conf/demo.conf --name a1 -Dflume.root.logger=INFO,console

6、写点测试数据

telnet localhost 44444

如果telnet命令不存在

yum install -y telnet

7、更多案例

http://www.aboutyun.com/thread-8917-1-1.html

flume采集最简demo相关推荐

【Linux】logrotate切割Tomcat日志并轮转（Flume采集准备工作适用）
[Linux]logrotate切割Tomcat日志并轮转(Flume采集准备工作适用) 背景及使用场景系统及软件环境解决方案及具体操作 logrotate配置文件编辑 logrotate全部配置 ...
flume采集数据易出现的bug
1.内存不足修改文件内容 <文件根目录>/bin/flume-ng JAVA_OPTS="-Xms100m -Xmx4096m -Dcom.sun.management. ...
flume采集hive日志写到hdfs问题
解决flume采集hive日志写到hdfs问题在配置flume写日志到hdfs发现写不进去,很苦恼,查了很多资料,终于找到了原因! 原来用Flume监听目录,在自己建的.conf文件中需要配置hd ...
Flume采集日志数据
一.为什么选用Flume? Flume vs Logstash vs Filebeat 当时选择数据采集工具时,我们主要参考了市面上热度比较高的Flume和Logstash还有Filebeat,据目前 ...
flume采集数据报错问题解决
在一次实验过程中,使用flume 1.7采集本地的数据到hdfs文件系统时,由于配置文件不合理,导致出错.错误如下: [WARN - org.apache.hadoop.hdfs.DFSOutputS ...
emlog和typecho文章采集插件简数第三方数据采集
简介: 简数采集平台使您能够轻松的获取大批量网页数据. 任何人都可以获取想要的网页数据,您只需在浏览器的可视化界面上用鼠标点击即可实现,不需要懂Html代码! 不止采集数据,简数采集还能帮你轻松的把采 ...
emlog和typecho文章采集插件-简数第三方数据采集
简介: 简数采集平台使您能够轻松的获取大批量网页数据.任何人都可以获取想要的网页数据,您只需在浏览器的可视化界面上用鼠标点击即可实现,不需要懂Html代码! 不止采集数据,简数采集还能帮你轻松的把采集 ...
Flume采集数据利器
一.什么是Flume Apache Flume 是一个分布式.高可靠.高可用的用来收集.聚合.转移不同来源的大量日志数据到中央数据仓库的工具.Flume 可以做离线也可以做实时分析. 二.Flume架 ...
【大数据入门核心技术-Flume】（四）使用Flume采集数据到Hive
[大数据入门核心技术-Kafka](七)Ka 录一.准备工作 1.Hadoop环境安装 2.Flume安装部署二.采集数据到HDFS 1.配置任务文件 2.启动传输 3.查看是否同步成功三.常见 ...

flume采集最简demo

flume采集最简demo相关推荐

最新文章

热门文章