scribe、chukwa、kafka、flume日志系统对比
为什么80%的码农都做不了架构师?>>>
host : syslogTcp(5140) | agentSink("localhost",35853) ;
collector : collectorSource(35853) | collectorSink("hdfs://namenode/user/flume/ ","syslog");
一个更复杂的例子如下:有6个agent,3个collector,所有collector均将数据导入HDFS中。agent A,B将数据发送给collector A,agent C,D将数据发送给collectorB,agent C,D将数据发送给collectorB。同时,为每个agent添加end-to-end可靠性保障(Flume的三种可靠性保障分别由 agentE2EChain, agentDFOChain, and agentBEChain实现),如,当collector A出现故障时,agent A和agent B会将数据分别发给collector B和collector C。 下面是简写的配置文件片段:
agentA : src | agentE2EChain("collectorA:35853","collectorB:35853");agentB : src | agentE2EChain("collectorA:35853","collectorC:35853");agentC : src | agentE2EChain("collectorB:35853","collectorA:35853");agentD : src | agentE2EChain("collectorB:35853","collectorC:35853");agentE : src | agentE2EChain("collectorC:35853","collectorA:35853");agentF : src | agentE2EChain("collectorC:35853","collectorB:35853");collectorA : collectorSource(35853) | collectorSink("hdfs://...","src");collectorB : collectorSource(35853) | collectorSink("hdfs://...","src");collectorC : collectorSource(35853) | collectorSink("hdfs://...","src");
此外,使用autoE2EChain,当某个collector 出现故障时,Flume会自动探测一个可用collector,并将数据定向到这个新的可用collector上。 (3) storage storage是存储系统,可以是一个普通file,也可以是HDFS,HIVE,HBase等。 6. 总结 根据这四个系统的架构设计,可以总结出典型的日志系统需具备三个基本组件,分别为agent(封装数据源,将数据源中的数据发送给 collector),collector(接收多个agent的数据,并进行汇总后导入后端的store中),store(中央存储系统,应该具有可扩 展性和可靠性,应该支持当前非常流行的HDFS)。 下面表格对比了这四个系统: 7. 参考资料 scribe主页: https://github.com/facebook/scribe chukwa主页: http://incubator.apache.org/chukwa/ kafka主页:h ttp://sna-projects.com/kafka/ Flume主页:http s://github.com/cloudera/flume/ 本文来自:http://my.oschina.net/sunzy/blog/183795
转载于:https://my.oschina.net/766/blog/211479
scribe、chukwa、kafka、flume日志系统对比相关推荐
- 开源日志系统比较:scribe,chukwa,kafka,flume
2019独角兽企业重金招聘Python工程师标准>>> 百度文库上看到一篇文章,虽然有些老,有参考意义,记录在此: http://wenku.baidu.com/link?url=6 ...
- 部署ELK+Kafka+Filebeat日志收集分析系统
ELK+Kafka+Filebeat日志系统 文章目录 ELK+Kafka+Filebeat日志系统 1.环境规划 2.部署elasticsearch集群 2.1.配置es-1节点 2.2.配置es- ...
- 开源日志系统比较:scribe、chukwa、kafka、flume
1. 背景介绍 许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征: (1) 构建应用系统和分析系统的 ...
- 大数据开源日志系统比较:scribe、chukwa、kafka、flume
1. 背景介绍 许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征: (1) 构建应用系统和分析系统的 ...
- Flume日志收集系统架构详解--转
2017-09-06朱洁大数据和云计算技术 任何一个生产系统在运行过程中都会产生大量的日志,日志往往隐藏了很多有价值的信息.在没有分析方法之前,这些日志存储一段时间后就会被清理.随着技术的发展和分析能 ...
- 环境搭建之日志搜集/采集服务系统对比(logtail/hadoop/elk/splunk/appender)
随着公司日益增长的业务,日志增长较快,各种bug层出不穷.为了快速定位问题以及做告警/数据分析等问题,就针对性的查看/搭建了几种日志服务系统. 可能整理的不是那么正确或者详尽.但也记录一下,方便日后回 ...
- 教你一步搭建Flume分布式日志系统
在前篇几十条业务线日志系统如何收集处理?中已经介绍了Flume的众多应用场景,那此篇中先介绍如何搭建单机版日志系统. 环境 CentOS7.0 Java1.8 下载 官网下载 http://flume ...
- flume+es+kibana日志系统
上个公司做了个日志系统,其实之间断断续续搞了三套方案,一套就是前边说的hadoop方案,网上也有但是不全,自己搞了下发现太庞大不适合小型项目,这次搞了flume+ES+kibana方案,感觉非常不错哦 ...
- 分布式日志系统Graylog、Loki及ELK的分析和对比
更多内容关注微信公众号:fullstack888 日志系列: 企业级日志平台新秀Graylog,比ELK轻量多了 日志系统新贵Loki,比ELK轻量多了 1. 为什么需要集中的日志系统? 在分布式系统 ...
最新文章
- java内存泄漏问题排查
- 女友的前男友教我该怎么照顾她......
- 异常:Caused by: java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
- 积累的VC编程小技巧之文件操作
- b站的服务器在哪个位置,b站用的是哪个云服务器
- mysql join子查询_MySQL的多表join中,子查询伤不起啊!
- linux定时重启命令
- JS如何判断浏览器类型和详细区分IE各版本浏览器
- Create-React-App创建antd-mobile开发环境
- Linux/windows com串口 java 接收数据 并解析 web程序
- 应用时间序列案例-基于R语言
- RNA-seq数据分析
- Java应用中CPU使用率过高该怎么解决
- 补充学习2021.7.21—动态水波进度条
- Reactive 响应式编程简单使用
- 浅谈叠片过滤器设计选型与技术要求
- 解线性方程组的迭代法--大型稀疏矩阵---松弛迭代法C++实现
- C++用zxing识别二维码
- SQL server 导入mdb文件操作步骤
- 酒店预订需求数据分析
热门文章
- ssm框架的简单案例
- 工作周报2016.08.01-2016.08.07
- 【java项目学习笔记】基于servlet+jsp+jdbc的注册登录系统
- python怎么用gamma函数_Python中的伽马函数图
- 基于安卓平台实现在线商城系统移动app演示【附项目源码+论文说明】
- 试用2片74151和必要的门电路实现4变量逻辑函数F(A,B,C,D)=∑m(2,3,4,5,6,9,10,12)(二〇二〇年山东大学数字电路906综合题第2题)(全网第一手资料)
- Java虚拟机如何运行Java字节码
- 国产操作系统推荐-方德桌面操作系统
- iPhone内存比Android手机小,酷派锋尚MAX
- 市场调研报告-全球与中国皮肤护理服务市场现状及未来发展趋势