flume学习（一）：log4jAppender直接输出日志到flume的avro-source

log4j.properties配置：

log4j.rootLogger=INFO,flume,stdout

log4j.appender.stdout = org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target = System.out
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%m%n

log4j.appender.R=org.apache.log4j.RollingFileAppender
log4j.appender.R.File=spider.log
log4j.appender.R.MaxFileSize=500KB
log4j.appender.R.MaxBackupIndex=1
log4j.appender.R.layout=org.apache.log4j.PatternLayout
log4j.appender.R.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} [%t] [%c] [%p] - %m%n

log4j.appender.flume =org.apache.flume.clients.log4jappender.Log4jAppender
log4j.appender.flume.Hostname = hadoop01
log4j.appender.flume.Port = 44444
log4j.appender.flume.UnsafeMode = true
log4j.appender.flume.layout=org.apache.log4j.PatternLayout
log4j.appender.flume.layout.ConversionPattern=%m%n

log4j.appender.socket=org.apache.log4j.net.SocketAppender
log4j.appender.socket.RemoteHost=hadoop192
log4j.appender.socket.port=4560
log4j.appender.socket.application=localclient

flume学习（一）：log4jAppender直接输出日志到flume的avro-source相关推荐

Flume将A服务器上的日志实时采集到B服务器
日志收集过程: 机器A监控一个文件,当我们访问主站的时候会有用户行为日志记录到access.log中 avro sink把新产生的日志输出到我们对应的avro source指定的hostname和po ...
flume avro java_flume之Avro Source和Avro Sink
一.Avro Souce介绍 Flume主要的RPC Source是Avro Source Avro Source被设计为高扩展的RPC服务器端,能从其他的Flume Agent的Avro Sink或 ...
flume可以实时监控mysql嘛_flume使用（三）：实时log4j日志通过flume输出到MySql数据库...
本文在[flume使用(二):采集远程日志数据到MySql数据库]一文基础之上进行测试操作.本文使用到的: flume版本.jdk版本.mysql.数据库表.javaBean.自定义的mysqlSin ...
Android学习笔记11---_查看与输出日志信息
11_查看与输出日志信息 --------------------------- 1.查看日志和错误信息因为不会在control控制台输出错误信息,所以要通过 window-->sho ...
linux nohup不生成日志,nohup不输出日志信息的方法，及linux重定向学习
起因最近使用nohup创建了一个后台进程,默认日志输出到了nohup.out文件中,程序跑起来也就没再管,过了大约一周,发现硬盘空间不够了,于是查找原因,发现这个nohup.out文件已经到了70G ...
flume学习-含安装
1.Flume是什么:Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集.聚合和传输的系统.Flume基于流式架构,灵活简单. Flume组成架构下面我们来详细介绍一下F ...
log4j 禁止类输出日志_SpringBoot统一日志处理原理
阅读推荐程序员跳槽时机已到,闲聊中面试官无意泄题 SpringBoot作为日常开发利器,开箱即用,大量的star等已经成为节省开发的重要框架之一,但是各个框架的star中引入的日志框架却不尽相同,有 ...
flume学习之一是什么，主要应用在什么场景
1.Flume是什么? Flume是Cloudera开发的一个高可用的,高可靠的,分布式的海量日志采集.聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据.数据源可定制.可扩 ...
python 创建目录时间_python实现根据当前时间创建目录并输出日志
举个例子:比如我们要实现根据当前时间的年月日来新建目录来存放每天的日志,当前时间作为日志文件名称:代码如下: #!/usr/bin/env python3 # _*_ coding: utf-8 _* ...
【学习笔记】大数据技术之Flume
这里写目录标题思考? 1. 在实时监控目录下的多个追加文件中,更名文件怎样解决? 2. 三个source有哪些? 3. 自定义source时,会出现相同i的情况,为什么? 4. put的doroll ...

flume学习（一）：log4jAppender直接输出日志到flume的avro-source

flume学习（一）：log4jAppender直接输出日志到flume的avro-source相关推荐

最新文章

热门文章