heka 配置一个go语言实现轻量级logstash 干掉ELK

[logstreamer_nginx_access]
type = "LogstreamerInput"
log_directory = "/access_pathlogs"
file_match = '(?P<Dir>[^/]*)/?access_(?P<FileName>.*)\.log'
differentiator = ["access_", "Dir", "_", "FileName"]
decoder = "Sandbox_nginx_access"[logstreamer_nginx_error]
type = "LogstreamerInput"
log_directory = "/error_pathlogs"
file_match = '(?P<Dir>[^/]*)/?error_(?P<FileName>.*)\.log'
differentiator = ["error_", "Dir", "_", "FileName"]
decoder = "Sandbox_nginx_error"## Sandboxes
[Sandbox_nginx_access]
type = "SandboxDecoder"
filename = "lua_decoders/nginx_access.lua"[Sandbox_nginx_error]
type = "SandboxDecoder"
filename = "lua_decoders/nginx_error.lua"[Sandbox_nginx_access.config]
type = "access"
user_agent_transform = true
##根据自己的日志格式调整
log_format = '$remote_addr - [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for" $request_time'[Sandbox_nginx_error.config]
tz = "Asia/Shanghai"
type = "error"[ESLogstashV0Encoder]
index = "logstash-dev-%{Type}-%{%Y.%m.%d}"
es_index_from_timestamp = true
fields = ["Timestamp", "Severity", "Pid", "Payload", "Hostname", "Logger", "Fields"]
type_name = "%{Type}"##ES入库
[ElasticSearchOutput]
message_matcher = "Type == 'access' || Type == 'error'"
server = "http://xxxx:9200"
encoder = "ESLogstashV0Encoder"
flush_interval = 50
flush_count = 5000[alert_smtp_encoder]
type = "SandboxEncoder"
filename = "lua_encoders/alert.lua"##邮件告警
[SmtpOutput]
message_matcher = "(Severity == 3 && Payload =~ /runtime/) || (Severity == 3 && Payload =~ /matcher sting/ && Payload !~ /not matcher string/)"
encoder = ""
send_from = ""
send_to = ["x x x@qq.com","x x x2@qq.com"]
auth = "Plain"
user =
password =
host =

在网上看了很多关于heka的配置，没有找到生产环境使用的，所以贴一个我们生产环境的配置。支持通配符文件路径，字符串匹配，ES入库和邮件告警。

相关连接：http://bigbo.github.io/pages/2015/05/23/mozilla_heka/

参考资料：

Heka logstreamer 说明文档
http://hekad.readthedocs.org/en/latest/pluginconfig/logstreamer.html#logstreamerplugin

Heka inputs 说明文档
http://hekad.readthedocs.org/en/latest/config/inputs/index.html

Heka getting started
https://hekad.readthedocs.org/en/latest/getting_started.html

Heka：Go编写，来自Mozilla，高效、灵活的插件式数据挖掘工具

http://www.csdn.net/article/2013-05-02/2815116-introduce-from-mozilla-heka-go

http://blog.mozilla.org/services/2013/04/30/introducing-heka/

PPT介绍

https://cdn.rawgit.com/gophercon/2014-talks/master/rob_miller_heka/index.html#/

Heka, 一个高可扩展的实时数据收集和处理工具

http://skoo.me/system/2014/04/02/hekad/

Heka插件开发

http://skoo.me/system/2014/04/30/heka-plugin-devel/

http://youngsterxyf.github.io/sphinx/work_note/operations/heka.html#id1

http://blog.mozilla.org/services/category/heka/

heka 配置一个go语言实现轻量级logstash 干掉ELK相关推荐

devc 如何编写java,Android For JNI(1)——JNI的概念以及C语言开发工具dev-c++,编写你的第一个C语言程序，使用C启动JAVA程序...
Android For JNI(一)--JNI的概念以及C语言开发工具dev-c++,编写你的第一个C语言程序当你的Android之旅一步步的深入的时候,你其实会发现,很多东西都必须去和framew ...
一个c语言程序的开发环境,C语言入门（2）——安装VS2013开发环境并编写第一个C语言程序...
在C语言入门系列中,我们使用Visual studio 2013 Professional作为开发工具.本篇详细介绍如何安装Visualstudio 2013 Professional并写出我们第一个 ...
通过简单的Linux命令，编译一个C语言代码
版权声明:欢迎转载,互相学习. https://blog.csdn.net/SmalOSnail/article/details/53208867 一个C语言程序从源代码变为最后的可执行文件,需要经历 ...
编译我的第一个c语言,linux菜鸟学习写第一个C语言代码--“hello Linux！”
2004年4月20日最新版本的GCC编译器3.4.0发布了.目前,GCC可以用来编译C/C++.FORTRAN.JAVA.OBJC.ADA等语言的程序,可根据需要选择安装支持的语言.GCC 3.4.0 ...
论文浅尝 | XQA：一个跨语言开放域问答数据集
论文笔记整理:刘晓臻,东南大学计算机科学与工程学院本科生. Citation: Liu, J., Lin, Y., Liu, Z., & Sun, M. (2019,July). XQA: A ...
nginx配置一个简单的php网站遇到的问题
安装完nginx后,想查看nginx的位置,可以通过查看软件安装路径命令 whereis nginx 这里的/usr/local/nginx/ 即是nginx的安装位置,配置文件在 /usr/loca ...
从一个例子开始体验轻量级类隔离容器 SOFAArk | SOFAChannel#11 直播整理
<SOFA:Channnel/>,有趣实用的分布式架构频道. 本文根据 SOFAChannel#11 直播分享整理,主题:从一个例子开始体验轻量级类隔离容器 SOFAArk.回顾视频以及 ...
绝了，SpringBoot引入 Dataway，无需开发任何代码配置一个满足需求的接口！
点击关注公众号,利用碎片时间学习 Dataway介绍 Dataway 是基于 DataQL 服务聚合能力,为应用提供的一个接口配置工具.使得使用者无需开发任何代码就配置一个满足需求的接口.整个接口配置 ...
vs2019创建c语言,Visual Studio 2019创建一个C语言控制台项目
Visual Studio 2019创建一个C语言控制台项目 1 创建项目 1.1 选择使用内容功能 ① 打开软件后,来到起始页界面,点击[创建新项目] 1.2 填写项目信息 ① 语言选择[C++] ...
在vmware中安装centos并使用gcc执行第一个c语言代码
目录 1.安装虚拟机VMWare 2.下载镜像文件(这里使用的是centos7) 3.如果你之前centos不想要了,请按照下面图片进行删除 4.打开VMWare创建配置虚拟机 5.配置安装CentO ...

heka 配置一个go语言实现轻量级logstash 干掉ELK

heka 配置一个go语言实现轻量级logstash 干掉ELK相关推荐

最新文章

热门文章

heka 配置 一个go语言实现轻量级logstash 干掉ELK

heka 配置 一个go语言实现轻量级logstash 干掉ELK相关推荐

最新文章

热门文章

heka 配置一个go语言实现轻量级logstash 干掉ELK

heka 配置一个go语言实现轻量级logstash 干掉ELK相关推荐