flume使用(六):后台启动及日志查看
本文介绍flume后台启动方式,运行日志查看
文章目录
- 处理的问题
- flume后台运行
- flume运行日志查看
- nohup后台启动查看控制台日志
- flume运行日志根据log4j.properties配置输出
处理的问题
flume 普通方式启动会有自己自动停掉的问题,这可能是linux的进程机制把他停掉的原因。
普通运行方式:
./flume-ng agent -c ../conf -f ../conf/g01-taildir-avro-sink.conf -n agent1 -Dflume.root.logger=INFO,console
flume后台运行
nohup加在原命令头,&加在原命令尾部
nohup ./flume-ng agent -c ../conf -f ../conf/g01-taildir-avro-sink.conf -n agent1 -Dflume.root.logger=INFO,console &
有人说直接加 & 就可以了,对,但是再加上nohup可以把原本在console输出的运行日志输出在nohup.out中
flume运行日志查看
这里介绍两种方式
nohup后台启动查看控制台日志
以nohup 和 & 组合的运行方式,会将原本在console的输出定向到flume的bin目录下的nohup.out文件中。
大多flume博文都有介绍flume的启动命令,但是命令都是将运行日志打印在控制台,这是入门级的demo运行方式,实际上flume原本就配置了运行日志输出位置,如下小节说明
flume运行日志根据log4j.properties配置输出
在flume的配置文件目录及 conf 目录中有log4j.properties配置文件,其实就已经配置了flume启动日志输出位置。
【log4j.prpoerties】
#
# Licensed to the Apache Software Foundation (ASF) under one
# or more contributor license agreements. See the NOTICE file
# distributed with this work for additional information
# regarding copyright ownership. The ASF licenses this file
# to you under the Apache License, Version 2.0 (the
# "License"); you may not use this file except in compliance
# with the License. You may obtain a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing,
# software distributed under the License is distributed on an
# "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY
# KIND, either express or implied. See the License for the
# specific language governing permissions and limitations
# under the License.
## Define some default values that can be overridden by system properties.
#
# For testing, it may also be convenient to specify
# -Dflume.root.logger=DEBUG,console when launching flume.#flume.root.logger=DEBUG,console
flume.root.logger=INFO,LOGFILE
flume.log.dir=./logs
flume.log.file=flume.loglog4j.logger.org.apache.flume.lifecycle = INFO
log4j.logger.org.jboss = WARN
log4j.logger.org.mortbay = INFO
log4j.logger.org.apache.avro.ipc.NettyTransceiver = WARN
log4j.logger.org.apache.hadoop = INFO
log4j.logger.org.apache.hadoop.hive = ERROR# Define the root logger to the system property "flume.root.logger".
log4j.rootLogger=${flume.root.logger}# Stock log4j rolling file appender
# Default log rotation configuration
log4j.appender.LOGFILE=org.apache.log4j.RollingFileAppender
log4j.appender.LOGFILE.MaxFileSize=100MB
log4j.appender.LOGFILE.MaxBackupIndex=10
log4j.appender.LOGFILE.File=${flume.log.dir}/${flume.log.file}
log4j.appender.LOGFILE.layout=org.apache.log4j.PatternLayout
log4j.appender.LOGFILE.layout.ConversionPattern=%d{dd MMM yyyy HH:mm:ss,SSS} %-5p [%t] (%C.%M:%L) %x - %m%n# Warning: If you enable the following appender it will fill up your disk if you don't have a cleanup job!
# This uses the updated rolling file appender from log4j-extras that supports a reliable time-based rolling policy.
# See http://logging.apache.org/log4j/companions/extras/apidocs/org/apache/log4j/rolling/TimeBasedRollingPolicy.html
# Add "DAILY" to flume.root.logger above if you want to use this
log4j.appender.DAILY=org.apache.log4j.rolling.RollingFileAppender
log4j.appender.DAILY.rollingPolicy=org.apache.log4j.rolling.TimeBasedRollingPolicy
log4j.appender.DAILY.rollingPolicy.ActiveFileName=${flume.log.dir}/${flume.log.file}
log4j.appender.DAILY.rollingPolicy.FileNamePattern=${flume.log.dir}/${flume.log.file}.%d{yyyy-MM-dd}
log4j.appender.DAILY.layout=org.apache.log4j.PatternLayout
log4j.appender.DAILY.layout.ConversionPattern=%d{dd MMM yyyy HH:mm:ss,SSS} %-5p [%t] (%C.%M:%L) %x - %m%n# console
# Add "console" to flume.root.logger above if you want to use this
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d (%t) [%p - %l] %m%n
然而大多博文的命令都是如此:… -Dflume.root.logger=INFO,console
./flume-ng agent -c ../conf -f ../conf/g01-taildir-avro-sink.conf -n agent1 -Dflume.root.logger=INFO,console
其中
-Dflume.root.logger=INFO,console
就表示将运行日志输出到控制台。
若要将日志按照log4j.properties的配置进行输出,需要启动时增加jvm参数,此参数项可在log4j配置文件里找到,且需要设置-Dflume.root.logger=INFO,LOGFILE
flume.root.logger=INFO,LOGFILE
flume.log.dir=./logs
flume.log.file=flume.log
那么把该条删除就可以按照log4j的配置输出到对应日志文件中
注意,如果没有输出到对应日志文件,那么看下flume的lib包中是否含有log4j的依赖jar包
log4j-1.2.16.jarslf4j-api-1.6.4.jarslf4j-log4j12-1.6.1.jar
flume使用(六):后台启动及日志查看相关推荐
- 怎么在Linux中后台启动服务,查看和关闭后台运行程序
1.启动服务 直接用./xxx.py 文件就可以运行,但是如果想后台运行,即使关闭当前的终端也可以运行的话,需要nohup命令和&命令. (1).&命令 功能:加在命令的最后.作用是可 ...
- linux项目运行日志查看,Linux项目部署、后台启动和终止运行及查看日志信息_MQ...
Linux项目部署.后台启动和终止运行及查看日志信息_MQ Linux项目部署.后台启动和终止运行及查看日志信息_MQ Linux项目部署.后台启动和终止运行及查看日志信息_MQ [var1] (1) ...
- CentOS中启动Jar包、后台启动、查看输出日志、查看服务进程、杀死进程
场景 将项目的jar包打包后部署在CentOS的服务器上. 怎样后台运行jar包,即使断开会话,服务依然运行. 运行后查看输出的日志,看看是否启动成功. 查看启动后服务的进程,以及杀死进程. 注: 博 ...
- 查看systemctl或service启动服务日志
查看systemctl或service启动服务日志_mikelv01的博客-CSDN博客_systemctl 查看日志 journalctl -u minio.service 微信扫一扫:关注我个人订 ...
- windows查看服务器启动日志文件,windows服务器日志查看工具
windows服务器日志查看工具 内容精选 换一换 本节操作指导用户查看Windows弹性云服务器的登录日志.本节操作以2012操作系统云服务器为例.登录弹性云服务器.选择"开始 > ...
- 查看linux的计划任务日志,查看计划任务日志(共5篇).docx
查看计划任务日志(共5篇) 沈阳工程学院 学生实验报告 实验室名称:信息学院网络安全实验室 实验课程名称:网络安全技术 实验项目名称:实验六日志查看与清除实验 班级:姓名:学号: 实验日期:XX年4月 ...
- hive后台启动_数据仓库组件:Hive环境搭建和基础用法
一.Hive基础简介 1.基础描述 Hive是基于Hadoop的一个数据仓库工具,用来进行数据提取.转化.加载,是一个可以对Hadoop中的大规模存储的数据进行查询和分析存储的组件,Hive数据仓库工 ...
- window 后台启动java参数启动
Windows 后台执行jar 我们都知道Linux下可用命令nohup /opt/jdk1.8.0_131/bin/java -jar xxx.jar &来后台执行jar 如果是Window ...
- windows redis 后台启动
windows redis 后台启动方法 下载 Github下载地址:https://github.com/MicrosoftArchive/redis/releases 解压安装服务 进入到redi ...
最新文章
- 统计模型参数量与FLOPs
- 微信小程序(六) 文章详情静态页面detail
- C++11系列学习之五-------decltype
- mongodb启动不能锁定_使用MongoDB进行乐观锁定重试
- VS2010 教程:创建一个 WPF 应用程序 (第一节)
- SpringBoot集成Elasticsearch实现博客高亮搜索
- Qt官方文档阅读笔记-QStyledItemDelegate Class描述
- 【数据结构的魅力】005.链表问题专项
- halcon学习之边缘检测
- Navi.Soft31.任务管理器(定时同步+数据采集)
- 2015年高教社杯全国大学生数学建模A题太阳影子定位(Matlab代码)
- agv机器人无人仓系统-opentcs算法改进
- 翻译网Gengo获1200万美元投资,价值何在
- PostgreSQL远程数据库连接 PostgreSQL pg_hba.conf 文件简析
- 【西瓜书笔记】补充1:logistic回归及其损失函数,梯度下降推导
- IDEA插件 -RestfulToolkit(接口自测工具)
- 追赶法求解块三对角矩阵以及matlab代码实现
- 公司×××访问建立之三核心交换机Huawei Quidway S6502的设置
- 《WindowsServer2012R2搭建网站教程》
- 体验windows server2008服务器操作系统