Filebeat
风来了.fox

1.下载和安装

https://www.elastic.co/downloads/beats/filebeat

目前最新版本 1.3.0
这里选择 LINUX 64-BIT 即方式一
方式一：源码

wget https://download.elastic.co/beats/filebeat/filebeat-1.3.0-x86_64.tar.gz
tar -zxvf filebeat-1.3.0-x86_64.tar.gz

方式二：deb

curl -L -O https://download.elastic.co/beats/filebeat/filebeat_1.3.0_amd64.deb
sudo dpkg -i filebeat_1.3.0_amd64.deb

方式三：rpm

curl -L -O https://download.elastic.co/beats/filebeat/filebeat-1.3.0-x86_64.rpm
sudo rpm -vi filebeat-1.3.0-x86_64.rpm

方式四：MAC

curl -L -O https://download.elastic.co/beats/filebeat/filebeat-1.3.0-darwin.tgz
tar -xzvf filebeat-1.3.0-darwin.tgz

2.配置Filebeat

环境说明：
1）elasticsearch和logstash 在不同的服务器上,只发送数据给logstash
2）监控nginx日志
3）监控支付日志
4）监控订单日志

2.1配置

编辑filebeat.yml

vim filebeat.yml

默认监控日志配置

filebeat: prospectors:-
      paths:- /var/log/*.log
      input_type: log

按照要求修改为

filebeat: prospectors:-
      paths:- /www/wwwLog/www.lanmps.com_old/*.log
        - /www/wwwLog/www.lanmps.com/*.log
      input_type: log document_type: nginx-access-www.lanmps.com-
      paths:- /www/wwwRUNTIME/www.lanmps.com/order/*.log
      input_type: log document_type: order-www.lanmps.com-
      paths:- /www/wwwRUNTIME/www.lanmps.com/pay/*.log
      input_type: log document_type: pay-www.lanmps.com
output:#elasticsearch:#   hosts: ["localhost:9200"]logstash:hosts: ["10.1.5.65:5044"]...其他部分没有改动，不需要修改

2.2 说明

paths：指定要监控的日志，目前按照Go语言的glob函数处理。没有对配置目录做递归处理，比如配置的如果是：

/var/log/* /*.log

则只会去/var/log目录的所有子目录中寻找以”.log”结尾的文件，而不会寻找/var/log目录下以”.log”结尾的文件。
2. input_type：指定文件的输入类型log(默认)或者stdin。
3. document_type：设定Elasticsearch输出时的document的type字段，也可以用来给日志进行分类。

把 elasticsearch和其下的所有都注释掉（这里Filebeat是新安装的，只注释这2处即可）

output:#elasticsearch:#   hosts: ["localhost:9200"]

开启 logstash(删除这两行前的#号)，并把localhost改为logstash服务器地址

 logstash:hosts: ["10.1.5.65:5044"]

如果开启logstash了，那么Logstash配置中要设置监听端口 5044：
这个是默认文件位置，如果不存在请自行查找

vim /etc/logstash/conf.d/beats-input.conf

增加端口

input {beats {port => 5044}
}

3.启动

3.1 测试

./filebeat -e -c filebeat.yml -d "Publish"

如果能看到一堆东西输出，表示正在向elasticsearch或logstash发送日志。
如果是elasticsearch可以浏览：http://localhost:9200/_search?pretty 如果有新内容返回，表示ok
测试正常后，Ctrl+C结束

3.2启动

nohup ./filebeat -e -c filebeat.yml >/dev/null 2>&1 &

上面会转入后台运行

3.3停止

查找进程 ID

ps -ef |grep filebeat

KILL他

kill -9  id

3.X kibana设置

如果使用 kibana 做日志分析，
在kibana里，创建一个索引，注意pattern为：filebeat-*

4.高级配置说明

http://kibana.logstash.es/content/beats/file.html

http://blog.csdn.net/a464057216/article/details/51233375

5.其他说明

5.1Elasticsearch知道如何处理每个日志事件

默认的Elasticsearch需要的index template在安装Filebeat的时候已经提供，路径为/etc/filebeat/filebeat.template.json，可以使用如下命令装载该模板：

curl -XPUT 'http://localhost:9200/_template/filebeat?pretty' -d@/etc/filebeat/filebeat.template.json

如果运行成功则返回如下，表示模板已被接收

{"acknowledged" : true
}

每次修改Filebeat配置，重启Filebeat才能生效

部分来源：
http://blog.csdn.net/a464057216/article/details/50987695
http://www.cnblogs.com/yjmyzz/p/filebeat-turorial-and-kibana-login-setting-with-nginx.html

Filebeat 日志收集器安装和配置相关推荐

Filebeat日志收集器
一.Filebeat 日志收集器 1.1 Filebeat简介 Filebeat是用于"转发"和"集中日志数据"的"轻量型数据采集器",用g ...
【Qt开发】Qt Creator在Windows上的调试器安装与配置
Qt Creator在Windows上的调试器安装与配置如果安装Qt时使用的是Visual Studio的预编译版,那么很有可能就会缺少调试器(Debugger),而使用MSVC的Qt对应的原生调试 ...
开启系统事件监视服务器,Windows 系统事件日志监视软件和日志收集器 | SolarWinds...
什么是 Windows 事件日志? Windows 事件日志是 Microsoft 系统中事务的记录.网络中的所有设备和服务都生成日志,其中包括错误和问题报告,以及成功的事务和交互记录.Windows ...
搭建elk+logstash+kafka+filebeat日志收集平台
文章目录前言组件介绍原理图环境介绍安装日志收集与展示前言在日常的运维过程中,对系统日志和业务日志的处理比较重要,对于以后的数据分析.排查异常问题有很重的作用.今天就分享一个自己基于ka ...
Filebeat日志采集器实例
目录 1 概述 2 安装Filebeat 2.1 配置Filebeat 2.2 配置Filebeat以使用Logstash 3 案例 3.1 流程说明 3.2 日志环境介绍 3.3 配置Filebea ...
scribe - 日志收集器分析
1.General description 我们知道,使用日志系统是为了使系统变得更健壮,能够应对各种错误并能从错误中较快地恢复.一个大型的分布式系统生成的日志数量是巨大的,所以需要一个有效的工具对 ...
部署ELK+Kafka+Filebeat日志收集分析系统
ELK+Kafka+Filebeat日志系统文章目录 ELK+Kafka+Filebeat日志系统 1.环境规划 2.部署elasticsearch集群 2.1.配置es-1节点 2.2.配置es- ...
ELK （一）部署ELK+Filebeat日志收集分析系统
说明:此安装流程只适用于8.0.0以下的版本 1. ElasticSearch 部署 1.1 下载ElasticSearch的wget指令: wget https://artifacts.elasti ...
linux上logbok实时日志_日志lombok插件安装及配置
安装lombok插件运行Lombok.jar java -jar D:\001_software\work\Java\libs\lombok.jar 确认完eclipse的安装路径后,点击insta ...
fluentd 安装、配置、使用介绍
fluentd 安装.配置.使用介绍 March 20, 2019 in efk, fluentd fluentd2 是一个针对日志的收集.处理.转发系统.通过丰富的插件系统, 可以收集来自于各种系统 ...

Filebeat 日志收集器安装和配置

1.下载和安装

2.配置Filebeat

2.1配置

2.2 说明

3.启动

3.1 测试

3.2启动

3.3停止

3.X kibana设置

4.高级配置说明

5.其他说明

5.1Elasticsearch知道如何处理每个日志事件

Filebeat 日志收集器安装和配置相关推荐

最新文章

热门文章

Filebeat 日志收集器 安装和配置

1.下载和安装

2.配置Filebeat

2.1配置

2.2 说明

3.启动

3.1 测试

3.2启动

3.3停止

3.X kibana设置

4.高级配置说明

5.其他说明

5.1Elasticsearch知道如何处理每个日志事件

Filebeat 日志收集器 安装和配置相关推荐

最新文章

热门文章

Filebeat 日志收集器安装和配置

Filebeat 日志收集器安装和配置相关推荐