对接kafka_flume对接kafka多路径同时收集日志,配置怎么写?
flume安装目录的conf下
配置文件如下:
# define
#比如我们有8个路径要收集
a1.sources = r1 r2 r3 r4 r5 r6 r7 r8
a1.sinks = k6
a1.channels = c6
# source
a1.sources.r1.type = exec
a1.sources.r2.type = exec
a1.sources.r3.type = exec
a1.sources.r4.type = exec
a1.sources.r5.type = exec
a1.sources.r6.type = exec
a1.sources.r7.type = exec
a1.sources.r8.type = exec
a1.sources.r1.command = tail -F -c +0 /logs/bbcc-bs-1/baseBusiness.log
a1.sources.r2.command = tail -F -c +0 /logs/bbcc-bs-2/baseBusiness.log
a1.sources.r3.command = tail -F -c +0 /logs/bbcc-bs-3/baseBusiness.log
a1.sources.r4.command = tail -F -c +0 /logs/bbcc-bs-4/baseBusiness.log
a1.sources.r5.command = tail -F -c +0 /logs/bbcc-bs-5/baseBusiness.log
a1.sources.r6.command = tail -F -c +0 /logs/bbcc-bs-6/baseBusiness.log
a1.sources.r7.command = tail -F -c +0 /logs/bbcc-bs-7/baseBusiness.log
a1.sources.r8.command = tail -F -c +0 /logs/bbcc-bs-8/baseBusiness.log
a1.sources.r1.shell = /bin/bash -c
a1.sources.r2.shell = /bin/bash -c
a1.sources.r3.shell = /bin/bash -c
a1.sources.r4.shell = /bin/bash -c
a1.sources.r5.shell = /bin/bash -c
a1.sources.r6.shell = /bin/bash -c
a1.sources.r7.shell = /bin/bash -c
a1.sources.r8.shell = /bin/bash -c
# sink
a1.sinks.k6.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k6.kafka.bootstrap.servers = ip(服务器对应的ip):9092,ip(服务器对应的ip):9092,ip(服务器对应的ip):9092
a1.sinks.k6.kafka.topic = produupie
a1.sinks.k6.kafka.flumeBatchSize = 20
a1.sinks.k6.kafka.producer.acks = 1
a1.sinks.k6.kafka.producer.linger.ms = 1
# channel
a1.channels.c6.type = memory
a1.channels.c6.capacity = 10000
a1.channels.c6.transactionCapacity = 100
# bind
a1.sources.r1.channels = c6
a1.sources.r2.channels = c6
a1.sources.r3.channels = c6
a1.sources.r4.channels = c6
a1.sources.r5.channels = c6
a1.sources.r6.channels = c6
a1.sources.r7.channels = c6
a1.sources.r8.channels = c6
a1.sinks.k6.channel = c6
我们可以考虑到sources路径配置到一起,希望这个配置对你有所帮助
对接kafka_flume对接kafka多路径同时收集日志,配置怎么写?相关推荐
- PHP爆绝对路径方法收集
PHP爆绝对路径方法收集 1.单引号爆路径 说明: 直接在URL后面加单引号,要求单引号没有被过滤(gpc=off)且服务器默认返回错误信息. Eg:www.xxx.com/news.ph ...
- javplayer 使用教程_药物设计软件Sybyl教程(五):绘制分子对接后对接表面
教程内容: 以SYBYL-X 2.0软件为例,进行分子对接(Surflex-Dock)后创建对接空腔的对接表面教程. 1 视频教程 建议在wifi环境下观看~ 2 图文教程 1.打开对接结果 本期教程 ...
- NLB无线定位服务器报警,设备对接NLB服务器群集 - S1720, S2700, S5700, S6720 V200R011C10 配置指南-IP业务 - 华为...
与NLB服务器群集对接的方法 如果NLB服务器直连到二层交换机LSW上(如图3-7),单播模式下直接就实现了对接,组播模式下可以通过在三层交换机Switch上配置静态ARP表项来实现对接. 如果NLB ...
- Filebeat 收集日志的那些事儿
女主宣言 最近因为云原生日志收集的需要,我们打算使用Filebeat作为容器日志收集工具,并对其进行二次开发,因此笔者将谈谈 Filebeat 收集日志的那些事儿.本文不涉及过具体的源码分析,希望通过 ...
- Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统
文章目录 一.前言 二.背景信息 三.操作流程 四.准备工作 1.Docker 环境 2.Docker Compose 环境 3.版本准备 4.环境初始化 5.服务安装 6.服务设置 五.配置 Fil ...
- Spring Boot应用集成Docker并结合Log4j2、Kafka、ELK管理Docker日志
Preface 原文链接: http://yangbingdong.com/2018/spring-boot-docker-elk/ 微服务架构下,微服务在带来良好的设计和架构理念的同时,也带来了运维 ...
- SpringCloud + kafka + ELK 搭建微服务日志管理平台
SpringCloud + kafka + ELK 搭建微服务日志管理平台 2019-12-31,写在前面的话 今天是2019最后一天了,最近几天都在搞这块微服务日志管理的事情,有很多种方案实现,每种 ...
- ELK之收集日志到mysql数据库
写入数据库的目的是持久化保存重要数据,比如状态码.客户端浏览器版本等,用于后期按月做数据统计等. 环境准备 linux-elk1:10.0.0.22,Kibana ES Logstash Nginx ...
- rancher使用fluentd-pilot收集日志分享
fluentd-pilot简介 fluentd-pilot是阿里开源的docker日志收集工具,Github项目地址:https://github.com/AliyunContainerService ...
最新文章
- 手撸一个JdbcTemplate,带你了解其原理
- python中一共有多少个关键字-Python中关键字有多少个?
- 成功解决SyntaxError: (unicode error) ‘unicodeescape‘ codec can‘t decode bytes in position 6-7: malformed
- 中国中文信息学会:第一届自然语言生成与智能写作大会讲习班正式发布
- POJ - 2342 Anniversary party(树形dp入门)
- mysql的分片系统_MySQL分片
- Hibernate入门(二)——hibernateAPI详解
- 05-sqlyog的安装与基本使用
- 诗与远方:无题(十)- 小熊夜游走廊记
- 在一个字符串中找到第一个只出现一次的字符,并返回它的位置
- 理解Python中的with…as…语法
- 配置中文XeLaTex环境
- 模拟电视原理(笔记)
- 柳夜熙又更新了,虚拟人的底层技术是什么?
- Java实现微信聊天记录生成器
- python编写程序计算梯形面积公式_肿么用c语言编写程序梯形面积
- 聚(N-异丙基丙烯酰胺)PNIPAM离子微凝胶-聚合物后分散形成的纳米粒子-瑞禧
- JRebel启动报错:compile error: cannot find constructor org.zeroturnaround.javarebel.integration.spring
- silverlight | chrion.exe-动态语言创建silverlight
- 学成在线网站知识分享
热门文章
- 后台ajax调用中字符串到jquery中的json对象和数组对象转换问题
- 绝地服务器维护7月5日,绝地求生7月5日更新到几点 吃鸡更新维护公告
- mysql計劃任務_MySQL計劃任務 | 學步園
- ubuntu 安装Pangolin 过程_余辉亮的学习笔记的博客-CSDN博客_pangolin安装
- linux下查看GPU版本和详情信息 CUDA版本信息 anaconda版本信息
- python替换字符串内容
- 冒泡排序讲的明白 也有代码的
- numpy.array()基本操作
- path classpath
- c#web页面显示弹窗_C#监听IE文档加载完成、弹窗、JS弹窗、页面跳转