Heka：Go编写，来自Mozilla，高效、灵活的插件式数据挖掘工具（转）

转自：http://www.csdn.net/article/2013-05-02/2815116-introduce-from-mozilla-heka-go

摘要：一直崇尚开源的Mozilla近日释放了Heka测试版——插件架构，Go编写。在支持使用Go扩展功能的同时，还通过允许“Sandboxed Filters”提供了另一种选择——Lua，同时这种选择下还省去了配置文件的编辑和系统的重启。

近日Mozilla Service团队首次发布了 Heka测试版（v0.2b1），Heka是一款拥有数据收集、分析、监视和报表的工具。其主要组件为 hekad，一个适用于任何主机的轻量级守护程序，其主任务是：

通过读取和解析日志文件收集数据，监视服务器状况，和（或）使用任何协议（syslog、statsd、http、heka等）接收客户端网络连接。
将采集到的数据转换成标准的内部表示，把元数据封装成Heka系统其它组件可以有效处理的形式。
使用一组路由规则评估消息内容和原数据，并为每一个消息分配相应的处理过滤器和外部端点。
飞速地处理消息内容，用以执行聚合、滑窗（sliding-window）事件处理和监控、非结构化数据到结构化数据的形成（举个例子：将日志输入文档解析到数字统计数据或者更加友好的数据结构）并将新的消息以报表的形式输出。
将接收到或者是内部生成的消息数据发送到外部位置：数据可能被写入一个数据库、一个时间序列数据库或者一个网络服务，包括上行的一个hekad实例做更深的处理和（或）聚合。

Heka使用Go语言编写，在α测试中已被证明其非常适合构建数据管道，并让数据管道同时占有快速和灵活两方面的优势；在α测中，一个单hekad实例可以支撑（接收和路由）起每秒10GB的消息数据。Mozilla Service团队借鉴并延伸了 Logstash的想法，将Heka打造成基于插件的系统。开发者可以通过构建定制的Input、Decoder、Filter（比如数据处理）以及Output插件，进行快速和简洁的功能扩展。

所有4个类型的插件都可以用Go来实现，但是管理这些插件需要修改配置文件并重启系统，比如：添加新的插件，甚至是重新编译hekad binary。Heka还通过允许“Sandboxed Filters”提供了另一种选择，这样你就可以使用Lua来代替Go。这样一来，在一个运行中的Heka实例添加或者删除功能就不需要修改配置及重启服务器。Heka同样还提供了一些Lua API，Sandbox Filters可以使用这些API管理时间序列的环形缓冲区，并生成曲线图报告，这些报告将呈现在Heka的仪表盘上：

（点击查看大图）

开源相关

Heka是项新的技术，虽然已在Mozilla内部广泛使用，但仍稍显粗糙。就像Mozilla每个产品一样，Heka同样开源。了解更多详情可阅读相关资源：

Heka v0.2 binaries
Intro to HekaHTML presentation slides
Heka project documentation
hekad daemon documentation
Heka github project
Heka-build github project
Services devmailing list (for developer support)
IRC: #heka channel on irc.mozilla.org
Heka python client
Heka node.js client

原文链接： Introducing Heka （编译/仲浩审校/王旭东）

转载于:https://www.cnblogs.com/LCGIS/archive/2013/05/09/3069440.html

Heka：Go编写，来自Mozilla，高效、灵活的插件式数据挖掘工具（转）相关推荐

chatgpt赋能python：Python做仿真模拟：一种高效、灵活、易用的工具
Python做仿真模拟:一种高效.灵活.易用的工具介绍随着计算机技术的不断进步,仿真模拟已成为许多学科研究中不可缺少的工具之一.在许多领域,例如物理.生物.经济等,都需要使用仿真模拟的技术来预测. ...
来自Mozilla的CSS书写规范建议
一个来自Mozilla的CSS书写规范建议,希望对大家有帮助引用内容 //显示属性 display list-style position float clear //自身属性 width heig ...
富士施乐3065扫描教程_精简高效灵活富士施乐3065使用测试
精简高效灵活富士施乐3065使用测试 2015年11月09日 16:34作者:王琛编辑:王琛文章出处:泡泡网原创分享泡泡网黑白复合机评测:对于中小企业用户来说,打印速度.打印成本和功能配置,基本 ...
使用Qt编写模块化插件式应用程序
动态链接库技术使软件工程师们兽血沸腾,它使得应用系统(程序)可以以二进制模块的形式灵活地组建起来.比起源码级别的模块化,二进制级别的模块划分使得各模块更加独立,各模块可以分别编译和链接,模块的升级不会 ...
Spark 2.4重磅发布：优化深度学习框架集成，提供更灵活的流式接收器
Apache Spark 2.4.0是2.x系列中的第五个版本.此版本增加了屏障执行模式,以便更好地与深度学习框架集成:引入30多个更高阶的内置函数,能够更轻松地处理复杂数据类型:优化K8s集成,同时 ...
SPCAMLEditor–灵活实用的CAML编辑工具（上）
SPCAMLEditor–灵活实用的CAML编辑工具 (上) 查看word版本:SPCAMLEditor_灵活实用的CAML编辑工具1.doc CAML简述 CAML全称Collaborative A ...
[翻译]编写高性能 .NET 代码第一章：性能测试与工具 -- 平均值 vs 百分比
平均值 vs 百分比在考虑要性能测试的目标值时,我们需要考虑用什么统计口径.大多数人都会首选平均值,但在大多数情况下,这个正确的,但你也应该适当的考虑百分数.但你有可用性的要求,作为性能测试的目标里 ...
天猫php采集列表,QueryList: QueryList是一个基于phpQuery的通用列表采集类,是一个简单、灵活、强大的采集工具，采集任何复杂的页面基本上就一句话就能搞定了。...
#QueryList交流社区: http://querylist.cc/ #QueryList文档: http://doc.querylist.cc/ #QueryList交流QQ群:12326696 ...
fio 全称是flexible I/O tester（灵活的I/O测试工具）。可以根据用户指定I/O类型进行多线程/进程的I/O负载模拟。
介绍 fio 全称是flexible I/O tester(灵活的I/O测试工具).可以根据用户指定I/O类型进行多线程/进程的I/O负载模拟. 安装部署 fio 是系统ISO自带的基础安装安装包,直 ...

Heka：Go编写，来自Mozilla，高效、灵活的插件式数据挖掘工具（转）

Heka：Go编写，来自Mozilla，高效、灵活的插件式数据挖掘工具（转）相关推荐

最新文章

热门文章