flume案例-网络数据采集-Flume的配置

开发配置文件

根据数据采集的需求配置采集方案，描述在配置文件中(文件名可任意自定义)

配置我们的网络收集的配置文件

在flume的conf目录下新建一个配置文件（采集方案）

vim /export/servers/apache-flume-1.8.0-bin/conf/netcat-logger.conf

# 定义这个agent中各组件的名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 描述和配置source组件：r1
a1.sources.r1.type = netcat
a1.sources.r1.bind = 192.168.174.
a1.sources.r1.port = 44444

# 描述和配置sink组件：k1
a1.sinks.k1.type = logger

# 描述和配置channel组件，此处使用是内存缓存的方式
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 描述和配置source channel sink之间的连接关系
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

flume案例-网络数据采集-Flume的配置相关推荐

flume案例-网络数据采集-Flume安装
Flume 的安装部署下载解压修改配置文件下载地址: http://archive.apache.org/dist/flume/1.8.0/apache-flume-1.8.0-bin.tar.g ...
flume案例-网络数据采集-启动flume
启动配置文件指定采集方案配置文件,在相应的节点上启动flume agent 先用一个最简单的例子来测试一下程序环境是否正常启动agent去采集数据 bin/flume-ng agent -c co ...
flume案例-文件数据采集-运行测试
启动 Flume cd /export/servers/apache-flume-1.6.0-cdh5.14.0-bin bin/flume-ng agent -c conf -f conf/tail ...
flume案例-文件数据采集-步骤分析
采集文件到 HDFS 需求比如业务系统使用log4j生成的日志,日志内容不断增加,需要把追加到日志文件中的数据实时采集到hdfs 分析根据需求,首先定义以下3大要素采集源,即source--监控 ...
Flume案例Ganglia监控
Flume案例和Flume监控系统的使用: 安装将apache-flume-1.7.0-bin.tar.gz上传到linux的/opt/software目录下解压apache-flume-1.7. ...
第1节 flume：15、flume案例二，通过自定义拦截器实现数据的脱敏
1.7.flume案例二案例需求: 在数据采集之后,通过flume的拦截器,实现不需要的数据过滤掉,并将指定的第一个字段进行加密,加密之后再往hdfs上面保存原始数据与处理之后的数据对比图一 ...
Flume(NG)架构设计要点及配置实践
Flume(NG)架构设计要点及配置实践 http://shiyanjun.cn/archives/915.html 转载于:https://blog.51cto.com/vikenxu/165732 ...
大数据技术之Flume（一）Flume概述、Flume快速入门
文章目录 1 Flume 概述 1.1 Flume 定义 1.2 Flume 基础架构 1.2.1 Agent 1.2.2 Source 1.2.3 Sink 1.2.4 Channel 1.2.5 ...
第01章网络数据采集入门
序言 1. 内容介绍本章详细介绍了网络数据采集基本流程,selenium 基本操作方法等内容. 2. 理论目标了解网络数据采集基本流程了解 selenium 基本操作方法 3. 实践目标能掌握 ...

flume案例-网络数据采集-Flume的配置

flume案例-网络数据采集-Flume的配置相关推荐

最新文章

热门文章