Flume1.7.0的安装与使用

Flume下载后，解压，新增一个配置文件，写入配置即可

我将配置文件写在 conf 下，取名为 flume-conf-spooldir.properties

Flume 运行命令：

bin/flume-ng agent --conf conf --conf-file conf/flume-conf-spooldir.properties --name LogAgent -Dflume.root.logger=DEBUG,console

其中，

-Dflume.root.logger=DEBUG,console 纯粹是为了在控制台打印而加的，非必须

之后在/tmp/logs 目录下，放入一个文件，即可看到运行效果

根据此配置文件，会有的效果：

1、hdfs中有 /tmp/logs 放入的文件

2、/tmp/logs 中放入的文件有一个后缀名.complete

注：要保证 HDFS 是启动起来的

配置文件的内容为：

（具体配置去官网查即可）

LogAgent.sources = mysource
LogAgent.channels = mychannel
LogAgent.sinks = mysinkLogAgent.sources.mysource.type = spooldir
LogAgent.sources.mysource.channels = mychannel
LogAgent.sources.mysource.spoolDir =/tmp/logsLogAgent.sinks.mysink.channel = mychannel
LogAgent.sinks.mysink.type = hdfs
LogAgent.sinks.mysink.hdfs.path = hdfs://node1:9000/data/logs/%Y/%m/%d/%H/
LogAgent.sinks.mysink.hdfs.batchSize = 1000
LogAgent.sinks.mysink.hdfs.rollSize= 0
LogAgent.sinks.mysink.hdfs.rollCount = 10000
LogAgent.sinks.mysink.hdfs.useLocalTimeStamp = trueLogAgent.channels.mychannel.type = memory
LogAgent.channels.mychannel.capacity = 10000
LogAgent.channels.mychannel.transactionCapacity = 100

转载于:https://www.cnblogs.com/sorco/p/6900830.html

Flume1.7.0的安装与使用相关推荐

Flume1.5.0的安装、部署、简单应用(含伪分布式、与hadoop2.2.0、hbase0.96的案例)
原文地址:http://www.cnblogs.com/lion.net/p/3903197.html 目录: 一.什么是Flume? 1)flume的特点 2)flume的可靠性 3)flume的可 ...
【原创】flume-1.3.0安装配置以及flume启动说明
Flume介绍一 flume基本介绍 Apache flume是一个分布式的.可靠的和可用的用来高效收集.同济和移动大量数据从众多不同sources到一个集中的数据存储库的系统. Flume eve ...
01【在线日志分析】之Flume-1.7.0源码编译导入eclipse
[前提]: 1.windows 7 安装maven-3.3.9 其中在conf/setting.xml文件添加 D:\software\apache-maven-3.3.9\repositor ...
【Linux】在VirtualBox-6.0中安装Manjaro18.0
1.参考博客: VMware虚拟机下Manjaro17.1.6安装详细教程 2.在VirtualBox-6.0中安装Manjaro18.0 1)基本步骤和博客中安装17.1.6相同,下面只记录不同的. ...
windows 检查cuda安装_Windows环境CUDA 4.0：安装与验证
[IT168专稿]在之前的文章中,介绍了<Windows环境CUDA 4.0:安装前的准备>,本文介绍CUDA 4.0的安装与验证过程. 安装CUDA软件安装CUDA软件需要以下步骤: ...
Anaconda 环境下 R 包 ggraph_1.0.2 安装小记
由于微信不允许外部链接,你需要点击文章尾部左下角的 "阅读原文",才能访问文中链接. 记录一下今天在 Anaconda3 环境下 R==3.4.3 中安装 ggraph 的一些问题 ...
windows10下 tensorflow2.0 gpu 安装
windows10下 tensorflow2.0 gpu 安装安装显卡驱动. 确定python.cuda和cudnn对应的版本安装cuda 安装cudnn 查看tensorflow的版本 impo ...
mysql8.0卸载出现问题,Windows环境下MySQL 8.0 的安装、配置与卸载
软件版本 Windows:Windows10 MySQL:mysql-8.0.17-winx64.zip 安装步骤 1.配置环境变量 2.新建my.ini文件文件位置:C:\Program File ...
VUE3.0 一.安装node.js、vue3.0脚手架
VUE3.0 一.安装node.js.vue3.0脚手架 1.安装nodejs 首先去官网下载nodejs 查看npm和node版本,出现版本号即安装成功. npm -v # 6.13.4node - ...

Flume1.7.0的安装与使用

Flume1.7.0的安装与使用相关推荐

最新文章

热门文章