大数据：数据采集平台之Apache Chukwa

Apache Flume
详情请看文章：《大数据：数据采集平台之Apache Flume》
Fluentd
详情请看文章：《大数据：数据采集平台之Fluentd》
Logstash
详情请看文章：《大数据：数据采集平台之Logstash》
Apache Chukwa
详情请看文章：《大数据：数据采集平台之Apache Chukwa 》
Scribe
详情请看文章：《大数据：数据采集平台之Scribe 》
Splunk Forwarder
详情请看文章：《大数据：数据采集平台之Splunk Forwarder》

官网：https://chukwa.apache.org/

Apache Chukwa是Apache旗下除Apache Flume外，又一个开源的数据收集平台。Chukwa基于Hadoop的HDFS和Map Reduce来构建(显而易见，它用Java来实现)，提供扩展性和可靠性。Chukwa同时提供对数据的展示，分析和监视。该项目已经不活跃了，它的 github上一次的更新是7年前。

Chukwa的部署架构如下：

Chukwa的主要单元有：Agent，Collector，DataSink，ArchiveBuilder，Demux等等，看上去相当复杂。

参考：https://mp.weixin.qq.com/s/emQ_94T0_Hw3ywQc0-4Dtg

大数据：数据采集平台之Apache Chukwa相关推荐

大数据Hadoop平台搭建(Apache)
Hadoop环境搭建一.节点详情服务器配置组件 hadoop101 8核/16.0GB QuorumPeerMain,PrestoServer,Kafka,DataNode,NodeManan ...
大数据：数据采集平台之Apache Flume
大数据:数据采集平台之Apache Flume Apache Flume 详情请看文章:<大数据:数据采集平台之Apache Flume> Fluentd 详情请看文章:<大数据:数 ...
星火计划 | Apache InLong一站式大数据接入平台沙龙火热报名中
导语:随着数据的增长以及业务场景的多元化,消息中间件已经成为IT架构中不可或缺的组件.它可以降低系统间的耦合性与复杂度,提升系统稳定性,为大数据时代的数据采集提供巨大助力. 腾讯大数据在2013年自研 ...
从 Airflow 到 Apache DolphinScheduler，有赞大数据开发平台的调度系统演进
点击上方蓝字关注我们作者 | 宋哲琦 ✎ 编者按在不久前的 Apache DolphinScheduler Meetup 2021 上,有赞大数据开发平台负责人宋哲琦带来了平台调度系统 ...
快来看！一键式、企业级的大数据综合分析平台上线啦
长期以来,大数据使用和分析领域存在算法设计难.代码开发难.分布式构架搭建难.软硬件设备不足等诸多难点和痛点,对于一个大数据计算和分析任务,需要用户学习相关的底层计算引擎的知识,才能进行代码开发的工作, ...
2022 IoTDB Summit：阿里白渐《迈向物联网时代大数据计算平台——MaxCompute 基于IoTDB构建解决方案》...
12 月 3 日.4日,2022 Apache IoTDB 物联网生态大会在线上圆满落幕.大会上发布 Apache IoTDB 的分布式 1.0 版本,并分享 Apache IoTDB 实现的数据管理 ...
大数据基础平台实施及运维
大数据基础平台实施及运维为什么使用大数据技术海量数据需要处理数据分析实时性越来越强数据结果的应用越来越广泛人工处理起来非常困难什么是大数据收集.整理.处理大容量数据集,并从中获得结果的技 ...
340页11万字智慧政务大数据资源平台数据治理方案
一.1.1 数据治理子系统建设大数据治理子平台,提供数据标准管理.元数据管理.数据质量管理能力,实现对数据的规范治理与管理:提供数据工厂能力,实现对归集的数据进行清洗.加工,支撑业务的数据应用需求. ...
【金猿案例展】杭州联合银行——大数据系列平台建设
‍ 网易数帆案例本项目案例由网易数帆投递并参与"数据猿年度金猿策划活动--<2022大数据产业年度创新服务企业>榜单/奖项"评选. ‍数据智能产业创新服务媒体 --聚 ...

大数据：数据采集平台之Apache Chukwa

大数据：数据采集平台之Apache Chukwa

大数据：数据采集平台之Apache Chukwa相关推荐

最新文章

热门文章