heka 输出到mysql_heka - 基于Go开发的日志收集工具，可用Go或lua开发插件

刚开始搞heka，觉得潜力很大，但是很多概念和配置不清楚。

官方开源地址：https://github.com/mozilla-services/heka

下面是配置文件，

功能是想配置实现通过TCP和UDP接收日志，

然后显示出来。

UdpInput可以正常接受并显示日志；

但是配置TcpInput，能连接上但是输出的日志都为空：

```

[syslog_splitter]

type = "RegexSplitter"

delimiter = '[\S]*\n'

delimiter_eol = false

[TcpInput]

address = ":514"

splitter = "syslog_splitter"

[UdpInput]

address = ":514"

[PayloadEncoder]

append_newlines = true

[LogOutput]

message_matcher = "TRUE"

encoder = "PayloadEncoder"

```

如下配置可以正常接收 tcp 日志：

```

[newline_splitter]

type = "TokenSplitter"

delimiter = '\n'

[prdecoder]

type = "PayloadRegexDecoder"

match_regex = '(\S*\n)'

[TcpInput]

address = ":514"

splitter = "newline_splitter"

decoder = "prdecoder"

use_tls = false

[UdpInput]

address = ":514"

[PayloadEncoder]

append_newlines = true

[LogOutput]

message_matcher = "TRUE"

encoder = "PayloadEncoder"

```

这段时间工作主要是heka，准备继续深入学习一下并写一个开源的工具书，希望有同好一起学习交流。

抱歉这段时间比较忙，还什么都没写：https://github.com/wangfeiping/hekabook

有疑问加站长微信联系(非本文作者)

heka 输出到mysql_heka - 基于Go开发的日志收集工具，可用Go或lua开发插件相关推荐

基于Flume的美团日志收集系统(二)改进和优化
在<基于Flume的美团日志收集系统(一)架构和设计>中,我们详述了基于Flume的美团日志收集系统的架构设计,以及为什么做这样的设计.在本节中,我们将会讲述在实际部署和使用过程中遇到的问 ...
基于Flume的美团日志收集系统(一)架构和设计
背景美团的日志收集系统负责美团的所有业务日志的收集,并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流.美团的日志收集系统基于Flume设计和搭建而成. <基于Flume的美团 ...
基于Flume的美团日志收集系统-----架构和设计
问题导读: 1.Flume-NG与Scribe对比,Flume-NG的优势在什么地方? 2.架构设计考虑需要考虑什么问题? 3.Agent死机该如何解决? 4.Collector死机是否会有影响? 5 ...
基于filebeat + logstash的日志收集方案
日志收集是一个很普遍的需求,各个服务的log日志,打点日志都需要收集起来做离线etl或实时分析.日志收集工具也有很多开源的可供选择,flume, logstash, filebeat等等. 目前3 ...
信息安全 python_一种基于Python的信息安全情报收集工具
邵云蛟吴丽莎张凯吴屏摘要:目前,公司信息安全情报收集工作主要依靠人工方式进行.主要由运维人员每日登陆相关信息安全资讯网站或接收由绿盟.启明等安全厂商发送的信息安全情报信息,这种方式效率低下, ...
canal应用一：基于mysql binlog的日志解析工具
文章目录前言 mysql 配置 canal 下载安装 canal client canal admin 常见问题前言 canal 是阿里巴巴开发的MySQL数据实时同步工具,基于binlog增量日 ...
基于Nginx、Kafka日志收集分析
项目环境: 8台服务器(2G,2核) Centos7, Nginx, Keepalived, Filebeat, Kafka, Zookeeper, MariaDB  项目描述: 收集用户访问Ngi ...
转: 基于elk 实现nginx日志收集与数据分析
原文链接:https://www.cnblogs.com/wenchengxiaopenyou/p/9034213.html 一.背景前端web服务器为nginx,采用filebeat + logs ...
Android开发所需的Android SDK、开发中用到的工具、Android开发教程、Android设计规范，免费的设计素材
AndroidDevTools AndroidSDK在线更新镜像服务器中国科学院开源协会镜像站地址: IPV4/IPV6:mirrors.opencas.cn端口:80 IPV4/IPV6:mirr ...
【基于容器的部署、扩展和管理】3.6 集群监控和日志收集
往期回顾: 第一章:[云原生概念和技术] 第二章:[容器化应用程序设计和开发] 第三章:[3.1 容器编排系统和Kubernetes集群的构建] 第三章:[3.2 基于容器的应用程序部署和升级] 第三 ...

heka 输出到mysql_heka - 基于Go开发的日志收集工具，可用Go或lua开发插件

heka 输出到mysql_heka - 基于Go开发的日志收集工具，可用Go或lua开发插件相关推荐

最新文章

热门文章