Flume安装部署,采集方案配置文件编写案例,启动agent采集数据
1.2 Flume实战案例
1.2.1 Flume的安装部署
1、Flume的安装非常简单,只需要解压即可,当然,前提是已有hadoop环境
上传安装包到数据源所在节点上
然后解压 tar -zxvf apache-flume-1.6.0-bin.tar.gz,最终解压到的位置是:/home/tuzq/software/apache-flume-1.6.0-bin
然后进入flume的目录,修改conf下的flume-env.sh,在里面配置JAVA_HOME
2、根据数据采集的需求配置采集方案,描述在配置文件中(文件名可任意自定义)
3、指定采集方案配置文件,在相应的节点上启动flume agent
先用一个最简单的例子来测试一下程序环境是否正常
1、先在flume的conf目录下新建一个文件
vi netcat-logger.conf(这个是我们自己定义的采集方案的配置文件)
#定义这个agent中各组件的名字
##表示agent中的source组件
a1.sources = r1
##表示的是下沉组件sink
a1.sinks = k1
##agent内部的数据传输通道channel,用于从source将数据传递到sink
a1.channels = c1#描述和配置source组件:r1
##netcat用于监听一个端口的
a1.sources.r1.type = netcat
##配置的绑定地址,这个机器的hostname是hadoop1,所以下面也可以配置成hadoop1
a1.sources.r1.bind = localhost
##配置的绑定端口
a1.sources.r1.port = 44444#描述和配置sink组件:k1
a1.sinks.k1.type = logger##描述和配置channel组件,此处使用时内存缓存的方式
#下面表示的是缓存到内存中,如果是文件,可以使用file的那种类型
a1.channels.c1.type = memory
#表示用多大的空间
a1.channels.c1.capacity = 1000
#下面表示用事务的空间是多大
a1.channels.c1.transactionCapacity = 100# 描述和配置source channel sink之间的连接关系,因为source和sink依赖channel来传递数据,所以要分别指定用的是哪个channel。
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
2、启动agent去采集数据
bin/flume-ng agent -c conf -f conf/netcat-logger.conf -n a1 -Dflume.root.logger=INFO,console
-c conf 指定flume自身的配置文件所在目录
-f conf/netcat-logger.con 指定我们所描述的采集方案
-n a1 指定我们这个agent的名字(是配置文件中写的那个agent)
3、测试
先要往agent采集监听的端口上发送数据,让agent有数据可采
随便在一个能跟agent节点联网的机器上
telnet anget-hostname port (telnet hadoop1 44444)
在telnet终端上输入内容,最后回到打开的agent,发现有内容输出,输出的内容如下:
综上所述:说明flume已经安装配置成功!
Flume安装部署,采集方案配置文件编写案例,启动agent采集数据相关推荐
- flume java 安装部署_[Hadoop] Flume安装部署与简单使用
1. Flume Flume是一个分布式的日志收集框架,针对日志数据进行采集汇总,把日志从A地方搬运到B地方去. 使用场景: RDBMS ==> Sqoop ==> Hadoop 分散在各 ...
- 数据仓库 — 05_日志生成(日志生成jar包的部署、脚本的编写_启动_时间同步_进程查看)
文章目录 1 日志生成 1.1 日志启动 1.2 集群日志生成启动脚本 1.3 集群时间同步修改脚本(临时) 1.4 集群所有进程查看脚本 欢迎访问笔者个人技术博客: http://rukihuang ...
- 日志采集框架Flume以及Flume的安装部署(一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统)...
Flume支持众多的source和sink类型,详细手册可参考官方文档,更多source和sink组件 http://flume.apache.org/FlumeUserGuide.html Flum ...
- Flume-----八种采集方案
flume八种采集方案 案例1)avro+memory+logger logger通常用于测试,数据流中的event最终显示在屏幕上 1)采集方案的配置 [root@hadoop01 ~]# mkdi ...
- 产品迭代更新 | 阿列夫科技基于Linkis+DataSphere Studio的单机安装部署实战
作者:萧寒 GitHub ID :hx23840 阿列夫科技原来的技术平台是基于 Hadoop,Spark 平台搭建的,为了充分的满足业务需求,做了大量接口封装.但是随着业务发展,现有技术平台日渐满足 ...
- StreamSets 3.22.2 安装部署
StreamSets(3.22.2) 安装部署 简介: Control Hub: StreamSets Control Hub是所有数据流管道的中心控制点.Control Hub允许团队大规模构建和执 ...
- flume案例-网络数据采集-Flume安装
Flume 的安装部署 下载解压修改配置文件 下载地址: http://archive.apache.org/dist/flume/1.8.0/apache-flume-1.8.0-bin.tar.g ...
- ansible自动化运维详解(一)ansible的安装部署、参数使用、清单管理、配置文件参数及用户级ansible操作环境构建
文章目录 ansible自动化运维详解(一)ansible的安装部署.参数使用.清单管理.配置文件参数及用户级ansible操作环境构建 一.ansible的安装部署 1.1.ansible简介 1. ...
- Azkaban安装部署,配置文件配置,启动等
1 Azkaban安装部署 准备工作 Azkaban Web服务器 azkaban-web-server-2.5.0.tar.gz Azkaban执行服务器 azkaban-executor-serv ...
最新文章
- 优化问题都需要哪些数学基础?
- bash-shell详解
- PE文件结构详解(六)重定位
- CSS中可继承的属性
- 987. 二叉树的垂序遍历
- pytorch实现Dropout与正则化防止过拟合
- java servlet 调试日志 logger sae_java servlet 调试日志 lo
- 大数据时代网络安全必读
- python -pymysql的操作
- 【HTML】建站成功默认页面
- Linux练习(函数调用复制文件)
- 嵌入式操作系统内核原理和开发(线程状态)
- 【Data guard】Failover切换
- 视觉slam十四讲 编程学习
- python 获取请求链接下载文件的大小和文件特征
- informatic对表的增量抽取机制
- php 2037时间问题
- 干货!情感计算理论基础必看知识!!
- win7和win10对于wifi共享的不同
- Java 判断输入的是否为元音字母
热门文章
- 在Windows电脑上修改图片内存大小的方法
- 创建一个Date类,具有三个整型成员变量year,month,day,具有三个成员方法setDate,isLeapYear,print
- 拼多多蓝海词数据分析工具哪个好?多多情报通怎么样?
- IMPERVA - WAF syslog配置及注意事项
- 美国共享单车数据分析
- Perl qw()函数
- 奉上——手机版个人财务管理软件
- 计算机考试的话语,考试加油鼓励的话 为考试加油的暖心句子
- 微信小程序动态点赞php,微信小程序小组件基于Canvas实现直播点赞气泡效果
- 拉拉米抢单发单源码 二开ui 带视频介绍 放量功能