1.简介

FileBeat用于文件数据采集并输出到ElasticSearch或Logstash中。

ELK搭建过程参见： ELK搭建及Java程序接入

2.下载

下载FileBeats OSS 7.2.1版本
https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-oss-7.2.1-linux-x86_64.tar.gz

tar xzvf filebeat-oss-7.2.1-linux-x86_64.tar.gz
cd filebeat-7.2.1-*
#启用nginx模块
./filebeat modules enable nginx

3.直接输出到ElasticSearch

#设置初始环境
./filebeat setup -e

此时报错连接不上kibana
instance/beat.go:877 Exiting: error connecting to Kibana: fail to get the Kibana version: HTTP GET request to http://localhost:5601/api/status fails: fail to execute the HTTP GET request: Get http://localhost:5601/api/status: dial tcp [::1]:5601: connect: connection refused. Response: .
Exiting: error connecting to Kibana: fail to get the Kibana version: HTTP GET request to http://localhost:5601/api/status fails: fail to execute the HTTP GET request: Get http://localhost:5601/api/status: dial tcp [::1]:5601: connect: connection refused. Response: .

修改连接kibana的配置
vi filebeat.yml
setup.kibana:
host: "192.168.81.145:5601"

重新设置初始环境

#运行filebeat
./filebeat -e

#附：静默运行
nohup ./filebeat -e > service.out&

此时
kibana中就有了filebeat-*索引，可以看到日志数据

多跑一些数据，打开kibana的Dashboard，选择filebeat给创建的[Filebeat Nginx] Overview ECS，可以看到如下页面，地图展示、柱状图饼图统计等均有。

4.输出到Logstash

vi filebeat.yml
output.logstash:
hosts: ["localhost:5044"]
把以下两个配置节注释掉
setup.kibana:
output.elasticsearch:

重启filebeat后，nginx访问日志会写入到logstash中，但此时logstash写入elasticsearch会报错：failed to parse field [host] of type [text] in document with id 'E0lsjW4BTdp_eLcgfhbu'
看elasticsearch日志发现此时host为一个json对象，需要变为字符串才行
修改配置，添加过滤器，把host.name赋值为host
vi config/logstash.conf
filter {
mutate {
rename => { "[host][name]" => "host" }
}
}

重启后即可

5.更改nginx日志路径

vi modules.d/nginx.yml
- module: nginx
access:
enabled: true
var.paths: ["/path/to/log/nginx/access.log*"]
error:
enabled: true
var.paths: ["/path/to/log/nginx/error.log*"]

6.logstash负载均衡

注意要加loadbalance: true
output.logstash:
hosts: ["localhost:5044", "localhost:5045"]
loadbalance: true

7.日志文件直接作为输入

vi filebeat.yml
- type: log
enabled: true
paths:
- /root/*.log

在/root/目录下新建1.log、2.log随便写几行日志，filebeat重启后即可入到elasticsearch中。
启动后再增加3.log或往已有的1.log中加日志均可入到elasticsearch中。

ELK套件FileBeat部署相关推荐

ELK+Filebeat 部署安装
ELK+Filebeat介绍 ELK是Elasticsearch.Logstash.Kibana三大开源框架首字母大写简称(但是后期出现的filebeat(beats中的一种)可以用来替代logsta ...
部署ELK+Kafka+Filebeat日志收集分析系统
ELK+Kafka+Filebeat日志系统文章目录 ELK+Kafka+Filebeat日志系统 1.环境规划 2.部署elasticsearch集群 2.1.配置es-1节点 2.2.配置es- ...
日志分析管理系统ELK+redis+filebeat搭建
日志分析平台建设方案 1.建设原因日志文件分散在各个应用服务器,人员需要远程登录才能查看日志,不利于服务器安全管控,加大服务器的风险各服务器日志配置不统一,分布杂乱,需要进行规范与管理日志文件信 ...
ELK下filebeat性能调优
filebeat作为ELK全家桶中的采集器,具备开箱即用的特点,配置非常简单.生产环境实践下来有几个值得关注的地方: 1.适当设置clean_和ignore_,防止文件重收 2.exclude_fil ...
Atlas 200 DK开发者套件环境部署（1.0.9.alpha）极简版
Atlas 200 DK开发者套件环境部署(1.0.9.alpha)极简版前言 Atlas 200 DK开发者套件介绍环境部署介绍资源要求开发环境部署安装Docker 获取镜像(两种方法任选 ...
ELK+kafaka+filebeat实现系统日志收集与预警
ELK+kafaka+filebeat实现系统日志收集与预警总体的流程图如下 1.项目准备添加相关依赖 <dependencies><dependency><grou ...
随心玩玩（七）ELK日志系统配置部署
文章目录概述 Elasticsearch Logstash Kibana ELK 协议栈体系结构最简单架构ELK结构 Logstash 作为日志搜集器 Beats 作为日志搜集器基于 Fileb ...
ELK(Elasticsearch+Filebeat+Kibana) 轻量级采集分析Nginx日志
ELK是什么? 轻量级日志统计分析组件,包含elasticsearch.filebeat.kibana ELK环境准备 Elasticsearch 下载地址 https://www.elastic.c ...
ELK YUM 安装部署添加监控
简介 ELK 官网: https://www.elastic.co/cn/what-is/elk-stack ElasticSearch ElasticSearch 是一个高可用开源全文检索和分析组件 ...

ELK套件FileBeat部署

目录