flume流程之http-memory-hdfs

主要需要了解http source的一些属性,最重要的就是bind以及监听端口.
配置参数默认值描述

# 命名个组件
b1001.sources = r1
b1001.sinks = k1
b1001.channels = c1#source属性
b1001.sources.r1.type = http
b1001.sources.r1.bind=0.0.0.0
b1001.sources.r1.port=9666# 描述channel属性
b1001.channels.c1.type = memory
b1001.channels.c1.capacity = 1000
b1001.channels.c1.transactionCapacity = 100# 描述sink属性
b1001.sinks.k1.type=hdfs
b1001.sinks.k1.hdfs.path=hdfs://mypc01:8020/news-article1/%Y%m%d
b1001.sinks.k1.hdfs.filePrefix=news-
b1001.sinks.k1.hdfs.fileSuffix = .txt
b1001.sinks.k1.hdfs.rollSize=102400
b1001.sinks.k1.hdfs.rollCount   = 0
#单位为s
b1001.sinks.k1.hdfs.rollInterval=60
b1001.sinks.k1.hdfs.useLocalTimeStamp = true# 关联source和sink到channel
b1001.sources.r1.channels = c1
b1001.sinks.k1.channel = c1

启动脚本

flume-ng启动脚本. -c指定flume自身的一些配置.比如java位置什么的
.-f指定agent的配置.主要是自己写的flume方案.
这两个参数不要搞混淆了

#bin/bash
/usr/local/flume/bin/flume-ng agent -c /usr/local/flume/conf \
-f /opt/apps/collect-app/scripts/collect-app-http-flume.conf \
-n b1001 -Dflume.root.logger=INFO,console -Dflume.monitoring.type=http -Dflume.monitoring.port=31002

测试

向mypc01 的9666端口发送信息,这样flume上配置的source就可以监听到.此外,默认情况下,http source只能处理json格式的数据. 必须首先启动flume-ng 才可以测试.负责会是拒绝连接.

curl -X POST http://mypc01:9666  -d  '[{"header":{"name":"article"},"body":"123"}]'

ps:

flume-ng命令官方帮助如下

global options:--conf,-c <conf>          use configs in <conf> directory--classpath,-C <cp>       append to the classpath--dryrun,-d               do not actually start Flume, just print the command--plugins-path <dirs>     colon-separated list of plugins.d directories. See theplugins.d section in the user guide for more details.Default: $FLUME_HOME/plugins.d-Dproperty=value          sets a Java system property value-Xproperty=value          sets a Java -X optionagent options:--name,-n <name>          the name of this agent (required)--conf-file,-f <file>     specify a config file (required if -z missing)--zkConnString,-z <str>   specify the ZooKeeper connection to use (required if -f missing)--zkBasePath,-p <path>    specify the base path in ZooKeeper for agent configs--no-reload-conf          do not reload config file if changed--help,-h                 display help text

flume流程之http-memory-hdfs相关推荐

flume流程之taildir-memory-hdfs
如下案例,监控linux目录上的csv文件,并读取到 hdfs上 #命名这个组件 agent1.channels = c1 agent1.sources = r1 agent1.sinks = k1a ...
flume流程之SpoolDir-memory-hdfs
写一个flume流程,source为spooldir,channel为memory,sink为hdfs. 网上搜索一下,稍加修改即可. %Y%m%d/%H%M注意区分大小写. 这个代表每1min建立一 ...
数字IC后端设计实现流程之initial design
数字IC后端设计实现流程之initial design 前端提供的文件门级网表 (Gate Level Netlist) 数字前端工程师或者是 R2N 的同事在 release 东西给后端工程师做 ...
数字IC后端设计实现流程之floorplan及powerplan规划
数字IC后端设计实现floorplan及powerplan规划数字 IC 后端设计实现流程之 initial design 初始化 Initial 模块形状估算完模块的面积后,block owne ...
(连载)Android系统源码分析--Android系统启动流程之Linux内核
> **这是一个连载的博文系列,我将持续为大家提供尽可能透彻的Android源码分析 [github连载地址](https://github.com/foxleezh/AOSP/issues/3 ...
(连载)Android 8.0 : 系统启动流程之Linux内核
这是一个连载的博文系列,我将持续为大家提供尽可能透彻的Android源码分析 github连载地址前言 Android本质上就是一个基于Linux内核的操作系统,与Ubuntu Linux.Fedo ...
我的Android进阶修炼：安卓启动流程之init(1)
文章目录我的Android进阶修炼:安卓启动流程之init(1) 一.前言二.init进程简介 1.文件位置 2.主要功能三.init进程源码分析 3.1 main() 源码注解 3.1.1 参 ...
Flume 监控kafka主题写HDFS小结
Flume 监控kafka主题写HDFS小结需求采集Flume采集kafka主题内容,往Hadoop集群上写HDFS,该机器没有安装Hadoop 这里的Flume版本是1.7.0,Hadoop版本是 ...
源码详解Android 9.0(P) 系统启动流程之SystemServer
源码详解Android 9.0(P) 系统启动流程目录: 源码详解Android 9.0(P)系统启动流程之init进程(第一阶段) 源码详解Android 9.0(P)系统启动流程之init进程(第 ...

flume流程之http-memory-hdfs

启动脚本

测试

ps:

flume流程之http-memory-hdfs相关推荐

最新文章

热门文章