Flume实操（一）【监控端口数据官方案例】

1）案例需求：首先，Flume监控本机44444端口，然后通过telnet工具向本机44444端口发送消息，最后Flume将监听的数据实时显示在控制台。

2）需求分析：

3）实现步骤：

1．安装telnet工具

yum install telnet

2．判断44444端口是否被占用

sudo netstat -tunlp | grep 44444

功能描述：netstat命令是一个监控TCP/IP网络的非常有用的工具，它可以显示路由表、实际的网络连接以及每一个网络接口设备的状态信息。

基本语法：netstat [选项]

选项参数：

-t或--tcp：显示TCP传输协议的连线状况；

-u或--udp：显示UDP传输协议的连线状况；

-n或--numeric：直接使用ip地址，而不通过域名服务器；

-l或--listening：显示监控中的服务器的Socket；

-p或--programs：显示正在使用Socket的程序识别码和程序名称；

3．创建Flume Agent配置文件flume-telnet-logger.conf

在flume目录下创建job文件夹并进入job文件夹。

mkdir job
cd job/
ll
touch flume-telnet-logger.conf
vi flume-telnet-logger.conf

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = henu1
a1.sources.r1.port = 44444# Describe the sink
a1.sinks.k1.type = logger# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

各参数的意义：

4. 先开启flume监听端口

flume-ng agent --conf conf/ --name a1 --conf-file /opt/flume/job/flume-telnet-logger.conf -Dflume.root.logger=INFO,console

参数说明：

--conf conf/ ：表示配置文件存储在conf/目录

--name a1 ：表示给agent起名为a1

--conf-file job/flume-telnet.conf ：flume本次启动读取的配置文件是在job文件夹下的flume-telnet.conf文件。

-Dflume.root.logger==INFO,console ：-D表示flume运行时动态修改flume.root.logger参数属性值，并将控制台日志打印级别设置为INFO级别。日志级别包括:log、info、warn、error。

5．使用telnet工具向本机的44444端口发送内容

6．在Flume监听页面观察接收数据情况

Flume实操（一）【监控端口数据官方案例】相关推荐

css实操：学成网综合案例
css实操:学成网综合案例页面效果: 易错点很多,需要注意的地方都有注释.常看! HBuilder X > css > 学成网首页.html <!DOCTYPE html> ...
大数据求索(6): 使用Flume进行数据采集单机监控端口、监控文件、跨节点等多种方式
大数据求索(6): 使用Flume进行数据采集大数据最好的学习资料是官方文档. Flume官方文档地址http://flume.apache.org/ Flume简单介绍 Flume是一种分布式的. ...
Flume实操（四）【单数据源多出口案例(选择器)】
单Source多Channel.Sink如图所示. 1)案例需求:使用Flume-1监控文件变动,Flume-1将变动内容传递给Flume-2,Flume-2负责存储到HDFS.同时Flume-1将变 ...
Flume实操（三）【实时读取目录文件到HDFS案例】
1)案例需求:使用Flume监听整个目录的文件 2)需求分析: 3)实现步骤: 1．创建配置文件flume-dir-hdfs.conf [root@henu1 job]# touch flume-di ...
Flume实操（二）【实时读取本地文件到HDFS案例】
1)案例需求:实时监控本地一文件,并上传到HDFS中 2)需求分析:[图示为Hive启动日志,这里做一个更为普通的本地文件] 3)实现步骤: 1.Flume要想将数据输出到HDFS,必须持有Hadoo ...
实操：怎么从数据切入私域长效运营？可以这样做
虽然过去无数次强调"无数据,不运营",但在私域运营面前,我们对数据及数据系统的依赖变得更重.更基础. 数据对运营效果的另一个影响在于用户价值本身:通常我们会强调用户生命周期,这是精 ...
运维实操——zabbix监控结合睿象云报警平台及API调用
zabbix监控结合睿象云报警平台及API调用 1.zabbix监控结合睿象云报警平台 2.API调用 1.zabbix监控结合睿象云报警平台由于我们不能时时刻刻盯着zabbix监控,所以呢,我们想 ...
运维实操——zabbix监控结合tidb分布式数据库
zabbix监控结合tidb分布式数据库前言 1.tidb介绍 2.Tidb+Zabbix的简单部署前言本文的前提是,zabbix已经和mysql数据库配置好,现在想把mysql替换为分布式数据 ...
sqlserver导入向导时提示外部表不是预期格式_Excel办公实操，导入本地数据，创建参数查询，就是简单...
导入数据创建参数查询在技巧73中已经介绍了使用Excel的"来自Microsoft Query"功能有选择地导入数据的方法,该功能使用了Microsoft Query技术,该技术 ...