Heka GeoIpDecoder 配置

Prepare：

安装geoip-api-c，确保/usr/include/GeoIP.h存在；
源码编译安装Heka (容易出现问题)；
下载GeoLiteCity.dat数据库。

配置文件举例：

1 [accesslogs]
2 type = "LogstreamerInput"
3 log_directory = "/home/dill/workspace/test/log/"
4 file_match = 'json\.log'
5 decoder = "MultiDecoder"
6

7 [MultiDecoder]
8 subs = ['JsonDecoder','GeoIpDecoder']
9 cascade_strategy = "all"
10 log_sub_errors = true
11
12 [JsonDecoder]
13 type = "SandboxDecoder"
14 filename = "lua_decoders/json.lua"
15
16 [JsonDecoder.config]
17 type = "testGeoIP"
18 map_fields = true
19 payload_keep = false
20
21 [GeoIpDecoder]
22 db_file = "/usr/local/share/GeoIP/GeoLiteCity.dat" #数据库文件地址，只能读取GeoLiteCity.dat数据库
23 source_ip_field = "clientIP" #源数据中含有IP的字段
24 target_field = "geoip" #用于存放解析结果的字段

28 [ElasticSearchOutput]
29 server = "http://localhost:9200"
30 message_matcher = "Type == 'testGeoIP'"
31 encoder = "ESJsonEncoder"
32 flush_interval = 500
33 flush_count = 1
34
35 [ESJsonEncoder]
36 index = "testGeoIP"
37 type_name = "ipParse"
38 #raw_bytes_fields = ["geoip"] #如果设定，解析geoip字段里面的json
39 fields = ["Uuid", "Timestamp", "Type", "Hostname", "Fields"] #如果没有“Filelds”，json里面的内容不能映射到ES

转载于:https://www.cnblogs.com/DillGao/p/6289427.html

Heka GeoIpDecoder 配置相关推荐

Heka：Go编写，来自Mozilla，高效、灵活的插件式数据挖掘工具（转）
转自:http://www.csdn.net/article/2013-05-02/2815116-introduce-from-mozilla-heka-go 摘要:一直崇尚开源的Mozilla近日 ...
nginx配置http、https访问，nginx指定ssl证书，阿里云腾讯云华为云设置nginx https安全访问
nginx配置http.https访问要设置https访问需要从对应的云厂商申请证书,并下载Nginx证书到服务器. 我这里从阿里云申请了免费的域名证书,然后将证书放置在服务器的/etc/ssl/. ...
在kotlin companion object中读取spring boot配置文件，静态类使用@Value注解配置
在kotlin companion object中读取配置文件静态类使用@Value注解配置 class Config {@Value("\${name}")fun setNam ...
大数据学习01——配置虚拟机节点相关网络
1.配置mac地址和ip (1)更改适配器设置找到这个后开始设置windows中的网络连接 (2)接着对三台虚拟机的mac地址和ip进行设置 1.mac地址设置进入linux节点中的这个位置进行设 ...
plsql配置多数据源，想换哪个换哪个
现在的公司内部普遍使用plsql对数据库进行管理.而数据库非常多,从测试到线上环境数据库那么多,我们通常使用同一配置管理,便于切换.那么配置数据库连接就成为了很重要的一步. 1.安装plsql (这里 ...
Linux下docker安装配置oracle，oracle创建用户并远程连接，实测可用！
最近在给同学弄毕业设计的数据库,因为oracle在个人电脑上极不稳定,所以他的电脑数据库崩溃了,这时候我就在docker上为他拉了一个oracle,解决了问题. docker的安装共有以下几步,实测没 ...
Linux下tomcat的安装与卸载以及配置（超简单）
无敌简单的几步 1.安装 //首先你需要下载好tomcat包 sudo tar -xvzf apache-tomcat-7.0.85.tar.gz(这里是包名) -C 你要放的位置 2.卸载 rm - ...
Maven安装与配置（最实用！！！）eclipse中配置maven
Maven安装与配置一.需要准备的东西 JDK Eclipse(本章主要是在eclipse中进行配置maven) Maven程序包二.下载与安装 1. 前往maven下载最新版的Maven程序: ...
CentOS Docker安装配置部署Golang web helloworld
目录[阅读时间:约5分钟] 一.Docker简介二.Docker的安装与配置[CentOS环境] 三.Docker部署Golang web helloworld 四.Docker与虚拟机的区别五. ...
centos使用镜像源轻松配置golang+vscode的方法
Title:centos使用镜像源轻松配置golang+vscode的方法 (阅读时间:约5分钟) 零.序言最近笔者在上一门名为服务计算的课程,在老师的作业博客中提到,安装golang+vscode ...

Heka GeoIpDecoder 配置

Heka GeoIpDecoder 配置相关推荐

最新文章

热门文章