flume安装目录的conf下

配置文件如下:

# define

#比如我们有8个路径要收集

a1.sources = r1 r2 r3 r4 r5 r6 r7 r8

a1.sinks = k6

a1.channels = c6

# source

a1.sources.r1.type = exec

a1.sources.r2.type = exec

a1.sources.r3.type = exec

a1.sources.r4.type = exec

a1.sources.r5.type = exec

a1.sources.r6.type = exec

a1.sources.r7.type = exec

a1.sources.r8.type = exec

a1.sources.r1.command = tail -F -c +0 /logs/bbcc-bs-1/baseBusiness.log

a1.sources.r2.command = tail -F -c +0 /logs/bbcc-bs-2/baseBusiness.log

a1.sources.r3.command = tail -F -c +0 /logs/bbcc-bs-3/baseBusiness.log

a1.sources.r4.command = tail -F -c +0 /logs/bbcc-bs-4/baseBusiness.log

a1.sources.r5.command = tail -F -c +0 /logs/bbcc-bs-5/baseBusiness.log

a1.sources.r6.command = tail -F -c +0 /logs/bbcc-bs-6/baseBusiness.log

a1.sources.r7.command = tail -F -c +0 /logs/bbcc-bs-7/baseBusiness.log

a1.sources.r8.command = tail -F -c +0 /logs/bbcc-bs-8/baseBusiness.log

a1.sources.r1.shell = /bin/bash -c

a1.sources.r2.shell = /bin/bash -c

a1.sources.r3.shell = /bin/bash -c

a1.sources.r4.shell = /bin/bash -c

a1.sources.r5.shell = /bin/bash -c

a1.sources.r6.shell = /bin/bash -c

a1.sources.r7.shell = /bin/bash -c

a1.sources.r8.shell = /bin/bash -c

# sink

a1.sinks.k6.type = org.apache.flume.sink.kafka.KafkaSink

a1.sinks.k6.kafka.bootstrap.servers = ip(服务器对应的ip):9092,ip(服务器对应的ip):9092,ip(服务器对应的ip):9092

a1.sinks.k6.kafka.topic = produupie

a1.sinks.k6.kafka.flumeBatchSize = 20

a1.sinks.k6.kafka.producer.acks = 1

a1.sinks.k6.kafka.producer.linger.ms = 1

# channel

a1.channels.c6.type = memory

a1.channels.c6.capacity = 10000

a1.channels.c6.transactionCapacity = 100

# bind

a1.sources.r1.channels = c6

a1.sources.r2.channels = c6

a1.sources.r3.channels = c6

a1.sources.r4.channels = c6

a1.sources.r5.channels = c6

a1.sources.r6.channels = c6

a1.sources.r7.channels = c6

a1.sources.r8.channels = c6

a1.sinks.k6.channel = c6

我们可以考虑到sources路径配置到一起,希望这个配置对你有所帮助

对接kafka_flume对接kafka多路径同时收集日志,配置怎么写?相关推荐

  1. PHP爆绝对路径方法收集

    PHP爆绝对路径方法收集 1.单引号爆路径   说明:   直接在URL后面加单引号,要求单引号没有被过滤(gpc=off)且服务器默认返回错误信息.   Eg:www.xxx.com/news.ph ...

  2. javplayer 使用教程_药物设计软件Sybyl教程(五):绘制分子对接后对接表面

    教程内容: 以SYBYL-X 2.0软件为例,进行分子对接(Surflex-Dock)后创建对接空腔的对接表面教程. 1 视频教程 建议在wifi环境下观看~ 2 图文教程 1.打开对接结果 本期教程 ...

  3. NLB无线定位服务器报警,设备对接NLB服务器群集 - S1720, S2700, S5700, S6720 V200R011C10 配置指南-IP业务 - 华为...

    与NLB服务器群集对接的方法 如果NLB服务器直连到二层交换机LSW上(如图3-7),单播模式下直接就实现了对接,组播模式下可以通过在三层交换机Switch上配置静态ARP表项来实现对接. 如果NLB ...

  4. Filebeat 收集日志的那些事儿

    女主宣言 最近因为云原生日志收集的需要,我们打算使用Filebeat作为容器日志收集工具,并对其进行二次开发,因此笔者将谈谈 Filebeat 收集日志的那些事儿.本文不涉及过具体的源码分析,希望通过 ...

  5. Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统

    文章目录 一.前言 二.背景信息 三.操作流程 四.准备工作 1.Docker 环境 2.Docker Compose 环境 3.版本准备 4.环境初始化 5.服务安装 6.服务设置 五.配置 Fil ...

  6. Spring Boot应用集成Docker并结合Log4j2、Kafka、ELK管理Docker日志

    Preface 原文链接: http://yangbingdong.com/2018/spring-boot-docker-elk/ 微服务架构下,微服务在带来良好的设计和架构理念的同时,也带来了运维 ...

  7. SpringCloud + kafka + ELK 搭建微服务日志管理平台

    SpringCloud + kafka + ELK 搭建微服务日志管理平台 2019-12-31,写在前面的话 今天是2019最后一天了,最近几天都在搞这块微服务日志管理的事情,有很多种方案实现,每种 ...

  8. ELK之收集日志到mysql数据库

    写入数据库的目的是持久化保存重要数据,比如状态码.客户端浏览器版本等,用于后期按月做数据统计等. 环境准备 linux-elk1:10.0.0.22,Kibana ES Logstash Nginx ...

  9. rancher使用fluentd-pilot收集日志分享

    fluentd-pilot简介 fluentd-pilot是阿里开源的docker日志收集工具,Github项目地址:https://github.com/AliyunContainerService ...

最新文章

  1. 手撸一个JdbcTemplate,带你了解其原理
  2. python中一共有多少个关键字-Python中关键字有多少个?
  3. 成功解决SyntaxError: (unicode error) ‘unicodeescape‘ codec can‘t decode bytes in position 6-7: malformed
  4. 中国中文信息学会:第一届自然语言生成与智能写作大会讲习班正式发布
  5. POJ - 2342 Anniversary party(树形dp入门)
  6. mysql的分片系统_MySQL分片
  7. Hibernate入门(二)——hibernateAPI详解
  8. 05-sqlyog的安装与基本使用
  9. 诗与远方:无题(十)- 小熊夜游走廊记
  10. 在一个字符串中找到第一个只出现一次的字符,并返回它的位置
  11. 理解Python中的with…as…语法
  12. 配置中文XeLaTex环境
  13. 模拟电视原理(笔记)
  14. 柳夜熙又更新了,虚拟人的底层技术是什么?
  15. Java实现微信聊天记录生成器
  16. python编写程序计算梯形面积公式_肿么用c语言编写程序梯形面积
  17. 聚(N-异丙基丙烯酰胺)PNIPAM离子微凝胶-聚合物后分散形成的纳米粒子-瑞禧
  18. JRebel启动报错:compile error: cannot find constructor org.zeroturnaround.javarebel.integration.spring
  19. silverlight | chrion.exe-动态语言创建silverlight
  20. 学成在线网站知识分享

热门文章

  1. 后台ajax调用中字符串到jquery中的json对象和数组对象转换问题
  2. 绝地服务器维护7月5日,绝地求生7月5日更新到几点 吃鸡更新维护公告
  3. mysql計劃任務_MySQL計劃任務 | 學步園
  4. ubuntu 安装Pangolin 过程_余辉亮的学习笔记的博客-CSDN博客_pangolin安装
  5. linux下查看GPU版本和详情信息 CUDA版本信息 anaconda版本信息
  6. python替换字符串内容
  7. 冒泡排序讲的明白 也有代码的
  8. numpy.array()基本操作
  9. path classpath
  10. c#web页面显示弹窗_C#监听IE文档加载完成、弹窗、JS弹窗、页面跳转