Filebeat 5.x版本
风来了.fox

1.下载和安装

https://www.elastic.co/downloads/beats/filebeat

这里选择 LINUX 64-BIT 即方式一

https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.6.3-linux-x86_64.tar.gz
tar -zxvf filebeat-5.6.3-linux-x86_64.tar.gz

2.配置Filebeat

环境说明：
1）elasticsearch和logstash 在不同/相同的服务器上,只发送数据给logstash/elasticsearch
2）监控nginx日志
3）监控站点日志

2.1配置

编辑filebeat.yml

vim filebeat.yml

修改为

filebeat.prospectors:- input_type: logpaths:- /www/wwwLog/www.foxwho.com/*.loginput_type: log document_type: nginx-www.foxwho.commultiline.pattern: '^\['multiline.negate: truemultiline.match: after- input_type: logpaths:- /www/wwwroot/www.foxwho.com/runtime/log/*/[0-9]*[_\w]?*.loginput_type: log document_type: web-www.foxwho.commultiline.pattern: '^\['multiline.negate: truemultiline.match: after#output.elasticsearch:#   hosts: ["localhost:9200"]#   index: "filebeat-www.babymarkt.cn"#   template.name: "filebeat"#   template.path: "filebeat.template.json"#   template.overwrite: false
output.logstash:hosts: ["10.1.5.65:5044"]...其他部分没有改动，不需要修改

2.2 说明

paths：指定要监控的日志，目前按照Go语言的glob函数处理。没有对配置目录做递归处理，比如配置的如果是：

/var/log/* /*.log

则只会去/var/log目录的所有子目录中寻找以”.log”结尾的文件，而不会寻找/var/log目录下以”.log”结尾的文件。
2. input_type：指定文件的输入类型log(默认)或者stdin。
3. document_type：设定Elasticsearch输出时的document的type字段，也可以用来给日志进行分类。

把 elasticsearch和其下的所有都注释掉（这里Filebeat是新安装的，只注释这2处即可）

#output.elasticsearch:#   hosts: ["localhost:9200"]

开启 logstash(删除这两行前的#号)，并把localhost改为logstash服务器地址

output.logstash:hosts: ["10.1.5.65:5044"]

如果开启logstash了，那么Logstash配置中要设置监听端口 5044：
这个是默认文件位置，如果不存在请自行查找
建立beats-input.conf配置文件

vim /etc/logstash/etc/beats-input.conf

增加端口

input {beats {port => 5044}
}

3.启动

3.1 测试

./filebeat -e -c filebeat.yml -d "Publish"

如果能看到一堆东西输出，表示正在向elasticsearch或logstash发送日志。
如果是elasticsearch可以浏览：http://localhost:9200/_search?pretty 如果有新内容返回，表示ok
测试正常后，Ctrl+C结束

3.2启动

nohup ./filebeat -e -c filebeat.yml &

上面会转入后台运行

3.3停止

查找进程 ID

ps -ef |grep filebeat

KILL他

kill -9  id

3.X kibana设置

如果使用 kibana 做日志分析，
在kibana里，创建一个索引，注意pattern为：filebeat-*

4.高级配置说明

http://kibana.logstash.es/content/beats/file.html

http://blog.csdn.net/a464057216/article/details/51233375

5.其他说明

5.1Elasticsearch知道如何处理每个日志事件

默认的Elasticsearch需要的index template在安装Filebeat的时候已经提供，路径为/etc/filebeat/filebeat.template.json，可以使用如下命令装载该模板：
在 filebeat 安装目录中运行

curl -XPUT 'http://localhost:9200/_template/filebeat?pretty' -d@filebeat.template.json

如果运行成功则返回如下，表示模板已被接收

{"acknowledged" : true
}

每次修改Filebeat配置，重启Filebeat才能生效

部分来源：
http://blog.csdn.net/a464057216/article/details/50987695
http://www.cnblogs.com/yjmyzz/p/filebeat-turorial-and-kibana-login-setting-with-nginx.html

Filebeat 5.x 日志收集器安装和配置相关推荐

Filebeat日志收集器
一.Filebeat 日志收集器 1.1 Filebeat简介 Filebeat是用于"转发"和"集中日志数据"的"轻量型数据采集器",用g ...
基于filebeat + logstash的日志收集方案
日志收集是一个很普遍的需求,各个服务的log日志,打点日志都需要收集起来做离线etl或实时分析.日志收集工具也有很多开源的可供选择,flume, logstash, filebeat等等. 目前3 ...
开启系统事件监视服务器,Windows 系统事件日志监视软件和日志收集器 | SolarWinds...
什么是 Windows 事件日志? Windows 事件日志是 Microsoft 系统中事务的记录.网络中的所有设备和服务都生成日志,其中包括错误和问题报告,以及成功的事务和交互记录.Windows ...
【Qt开发】Qt Creator在Windows上的调试器安装与配置
Qt Creator在Windows上的调试器安装与配置如果安装Qt时使用的是Visual Studio的预编译版,那么很有可能就会缺少调试器(Debugger),而使用MSVC的Qt对应的原生调试 ...
3-ELK+Kafka+Filebeat 海量级日志收集 TB PB级别
ELK+Kafka+Filebeat 终极版 4.Kafka: 数据缓冲队列(消息队列).同时提高了可扩展性.具有峰值处理能力,使用消息队列能够使关键组件顶住突发的访问压力,而不会因为突发的超负荷的请 ...
scribe - 日志收集器分析
1.General description 我们知道,使用日志系统是为了使系统变得更健壮,能够应对各种错误并能从错误中较快地恢复.一个大型的分布式系统生成的日志数量是巨大的,所以需要一个有效的工具对 ...
linux上logbok实时日志_日志lombok插件安装及配置
安装lombok插件运行Lombok.jar java -jar D:\001_software\work\Java\libs\lombok.jar 确认完eclipse的安装路径后,点击insta ...
大数据——Logstash（日志收集）
Logstash(日志收集) ELK Stack Logstash简介安装Logstash Logstash如何工作 Logstash配置语法(一) Logstash配置语法(二) 输入插件编解码 ...
fluentd 安装、配置、使用介绍
fluentd 安装.配置.使用介绍 March 20, 2019 in efk, fluentd fluentd2 是一个针对日志的收集.处理.转发系统.通过丰富的插件系统, 可以收集来自于各种系统 ...
ELK之日志收集filebeat，并对nginx，tomcat access日志JSON格式化
2019独角兽企业重金招聘Python工程师标准>>> 一:ELK日志收集器组件filebeat下载官方下载地址:https://www.elastic.co/downloads/ ...

Filebeat 5.x 日志收集器安装和配置

1.下载和安装

2.配置Filebeat

2.1配置

2.2 说明

3.启动

3.1 测试

3.2启动

3.3停止

3.X kibana设置

4.高级配置说明

5.其他说明

5.1Elasticsearch知道如何处理每个日志事件

Filebeat 5.x 日志收集器安装和配置相关推荐

最新文章

热门文章

Filebeat 5.x 日志收集器 安装和配置

1.下载和安装

2.配置Filebeat

2.1配置

2.2 说明

3.启动

3.1 测试

3.2启动

3.3停止

3.X kibana设置

4.高级配置说明

5.其他说明

5.1Elasticsearch知道如何处理每个日志事件

Filebeat 5.x 日志收集器 安装和配置相关推荐

最新文章

热门文章

Filebeat 5.x 日志收集器安装和配置

Filebeat 5.x 日志收集器安装和配置相关推荐