2019独角兽企业重金招聘Python工程师标准>>>

一、配置启动flume

①flume的配置文件  conf/flume-conf.properties(这个文件一般是flume-conf.properties.default),复制修改后缀即可;

配置文件如下:

agent1.channels = ch1
    agent1.sources = avro-source1
    agent1.sinks = log-sink1

# 定义channel
    agent1.channels.ch1.type = memory    #mem channel

# 定义source
    agent1.sources.avro-source1.channels = ch1
    agent1.sources.avro-source1.type = avro        #avro source
    agent1.sources.avro-source1.bind = 0.0.0.0
    agent1.sources.avro-source1.port = 41414

# 定义sink
    agent1.sinks.log-sink1.channel = ch1
    agent1.sinks.log-sink1.type = logger                #logger sink

启动flume

bin/flume-ng agent --conf conf --conf-file conf/flume-conf.properties --name agent1 -Dflume.root.logger=INFO,console

二、log4j的配置

①在log4j.properties文件中添加flume appender

log4j.rootLogger=INFO,flume   #日志级别,info和flume

log4j.appender.flume = org.apache.flume.clients.log4jappender.Log4jAppender
    log4j.appender.flume.Hostname = 192.168.57.133    #flume地址
    log4j.appender.flume.Port = 41414                          #flume source监听的端口
    log4j.appender.flume.UnsafeMode = true
    log4j.appender.flume.layout=org.apache.log4j.PatternLayout 
    log4j.appender.flume.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} [%t] [%c] [%p] - %m%n

三、测试

在maven中添加flume appender依赖

<dependency>
<groupId>org.apache.flume.flume-ng-clients</groupId>
<artifactId>flume-ng-log4jappender</artifactId>
<version>1.6.0</version>
</dependency>

编写简单的测试类:

public class Log4jTest {Logger logger = LoggerFactory.getLogger(Log4jTest.class);   /*** 测试flume* @Title: flumeTest * @Description: TODO* @param @throws Exception    * @return void    * @throws*/@Testpublic void flumeTest() throws Exception {while(true){logger.info("spider", System.currentTimeMillis());try {Thread.sleep(1000);} catch (Exception e) {// TODO: handle exceptione.printStackTrace();}}}

运行测试类,可以看到flume在控制台的输出

转载于:https://my.oschina.net/u/780876/blog/603731

loh4j整合flume(log4jsource)相关推荐

  1. Spark Streaming整合flume实战

    Spark Streaming对接Flume有两种方式 Poll:Spark Streaming从flume 中拉取数据 Push:Flume将消息Push推给Spark Streaming 1.安装 ...

  2. 【Kafka】测试Kafka整合Flume

    本文简单测试Kafka整合Flume,从而实现"日志 -> Flume -> Kafka". 操作环境: Kafka版本:1.0.1 Flume版本:1.6.0 测试前 ...

  3. 整合Flume和Kafka完成实时数据采集

    需要注意:参考的网站要与你的kafka的版本一致,因为里面的字段会不一致 例如:http://flume.apache.org/releases/content/1.6.0/FlumeUserGuid ...

  4. DStream实战之Spark Streaming整合fulme实战, Flume向Spark Streaming中push推数据 36

    前言 本文所需要的安装包&Flume配置文件,博主都已上传,链接为本文涉及安装包&Flume配置文件本文涉及的安装包&Flume配置文件,请自行下载~ flume作为日志实时采 ...

  5. Kafka+Storm+HDFS整合实践

    2019独角兽企业重金招聘Python工程师标准>>> 在基于Hadoop平台的很多应用场景中,我们需要对数据进行离线和实时分析,离线分析可以很容易地借助于Hive来实现统计分析,但 ...

  6. <Zhuuu_ZZ>大数据技术之Flume详解

    大数据技术之Flume详解 一 Flume配置 Flume安装地址 环境配置 验证 二 Flume基础架构 1.定义 2.Flume组成架构 3.Flume组件 Agent Source Channe ...

  7. Spark Streaming实时流处理学习

    目录 1.初识实时流处理 2.分布式日志收集框架Flume 3.分布式发布订阅消息系统Kafka 4.实战环境搭建 5.Spark Streaming入门 6.Spark Streaming核心概念与 ...

  8. kafka 的pom文件_基于SparkStreaming+Kafka+HBase实时点击流案例

    大数据技术与架构点击右侧关注,大数据开发领域最强公众号! 暴走大数据点击右侧关注,暴走大数据! 背景 Kafka实时记录从数据采集工具Flume或业务系统实时接口收集数据,并作为消息缓冲组件为上游实时 ...

  9. 07-SparkStreaming

    07-Spark Streaming 1.目录概述 掌握spark Streaming的原理和架构 掌握DStream的相关操作 实现spark Streaming与flume整合 实现spark S ...

最新文章

  1. IT阅读——关于“业务”
  2. Dalvik中类的加载
  3. centos7.3安装MongoDB
  4. 自信的真正含义--NLP
  5. hibernate教程--持久化类状态详解
  6. js字符串replace替换多个_汇总几大python常见字符串处理函数与用法(建议收藏)...
  7. h5页面预览pdf文件_H5移动端在线浏览pdf文件,推荐插件TouchPDF
  8. spacy 英文模型下载_spaCy2.1中文模型包
  9. 二叉排序树[2005年华中科技大学计算机保研机试真题]
  10. Vue 过滤器/watch/computed
  11. JBPM 3.3.0 + JBOSS 4.2.3 + ORACLE 9i
  12. 适配器模式 - 上厕所案例
  13. 高通900e驱动变9008_技术驱动的治理变得更加聪明
  14. XILINX VIVADO2018.2官方下载全教程记录.
  15. fgo日服服务器维护,FGO国服和日服哪个福利更好 圣晶石维护补偿对比
  16. Centos8关闭防火墙
  17. contos7 配置 python3环境 支持微信公众号开发
  18. 大三小学期入门课程第六课:规划
  19. 外企8年,我学到的人性化,不止是宽容
  20. AJP:纵向研究:抑郁症青年在当前期和累积期的奖赏系统的功能障碍具有不同的神经基础

热门文章

  1. 【R语言中如何去除替换NA相关操作】
  2. OCM实战之RAC集群打补丁
  3. 通过USB连接越狱iPhone,SSH进入设备
  4. left join的基本用法以及on与where的区别
  5. 2020数据分析师学习路径
  6. 火狐浏览器超好用的网页翻译插件
  7. Windows10+Ubuntu子系统使用ImageMagick报错convert-im6.q16: not authorized解决方法
  8. Scrapy爬虫实践之搜索并获取前程无忧职位信息(基础篇)
  9. 关于Openlayers Overlay事件监听的一个坑
  10. IDA反汇编/反编译静态分析iOS模拟器程序(一)话说IDA