filebeat

官方文档

配置文件 filebeat.yml

filebeat.inputs:# Each - is an input. Most options can be set at the input level, so
# you can use different inputs for various configurations.
# Below are the input specific configurations.- type: log# Change to true to enable this input configuration.enabled: true# Paths that should be crawled and fetched. Glob based paths.paths:- /var/log/testlog/*.log# 由于是入门，其他配置暂且忽略 ，将读取到的日志信息，输出给logstash
output.logstash:# The Logstash hostshosts: ["192.168.153.129:5044"]

启动filebeat

./filebeat -e -c filebeat.yml  -d 'publish'

如果遇到下面的情况导致没法读取传输数据

INFO最近30秒钟内没有非零指标
我们可以删除注册表文件registry，注册表文件存储了Filebeat用来跟踪其最后读取位置的状态和位置信息

删除（备份）后，重启filebeat即可。

下边是正常工作

logstash

官网
第三方配置详解
常用的logstash正则表达式规则
logstash 可以对filebeat 发来的数据进行格式化或过滤，还可以发送给其他服务。

首先我们需要创建一个配置(在logstash 根目录)

vim kafka-config.conf

由于我们这个案例输出给的是kafka，所以我们需要基本配置一下

input {# 这是filebeat 发送数据接收的端口beats {port => "5044"}}output {# kafka的配置kafka {codec => jsontopic_id => "test-logstash"# kafka 所在的主机及端口bootstrap_servers => "192.168.201.209:9092"batch_size => 1}
}

启动logstash

bin/logstash -f kafka-config.conf

kafka

创建测试 topic （最好在filebeat 和 logstash 启动前创建好，并启动kafka）

# 测试的kafka我是放在windows上的
kafka-topics.bat --create --bootstrap-server localhost:9092 --topic test-logstash

启动 kafka Tools ，查看数据

filebeat + logstash 发送日志至kafka 入门相关推荐

ELK实战（一）Filebeat+Logstash发送Email告警日志（1）
ELK实战(一)Filebeat+Logstash发送Email告警日志(1) ELK应用案例典型ELK应用架构本次我使用的架构(Filebeat+Logstash发送Email告警日志) 使用的 ...
基于filebeat + logstash的日志收集方案
日志收集是一个很普遍的需求,各个服务的log日志,打点日志都需要收集起来做离线etl或实时分析.日志收集工具也有很多开源的可供选择,flume, logstash, filebeat等等. 目前3 ...
Windows环境下filebeat配置发送日志至Elasticsearch
一.Windows环境下安装filebeat 官网下载安装包解压到指定目录,打开解压后的目录,打开filebeat.yml进行配置. 二.配置为输出到ElasticSearch 1.只配置以下三个节 ...
filebeat+logstash收集错误日志发送邮件提醒
filebeat+logstash收集错误日志发送邮件提醒典型ELK应用架构因为只收集错误日志并且数据量并不是非常大所以简化流程使用filebeat+logstash发送异常日志软件版本说 ...
3-ELK+Kafka+Filebeat 海量级日志收集 TB PB级别
ELK+Kafka+Filebeat 终极版 4.Kafka: 数据缓冲队列(消息队列).同时提高了可扩展性.具有峰值处理能力,使用消息队列能够使关键组件顶住突发的访问压力,而不会因为突发的超负荷的请 ...
Springboot/Springcloud整合ELK平台，（Filebeat方式）日志采集及管理（Elasticsearch+Logstash+Filebeat+Kibana）
前言最近在搞一套完整的云原生框架,详见 spring-cloud-alibaba专栏,目前已经整合的log4j2,但是想要一套可以实时观察日志的系统,就想到了ELK,然后上一篇文章是socket异步 ...
filebeat+logstash日志采集Invalid version of beats protocol错误
项目使用filebeat采集Nginx日志送到Logstash进行格式化后送到ElasticSearch,filebeat和Logstash成功启动后logstash报了一个错误(Invalid ve ...
ELKStack入门篇（三）之logstash收集日志写入redis
1.部署Redis 1.1.下载redis [root@linux-node2 ~]# wget http://download.redis.io/releases/redis-4.0.6.tar.g ...
Kafka入门教程 Golang实现Kafka消息发送、接收
一:核心概念 kafka是消息中间件的一种,是一种分布式流平台,是用于构建实时数据管道和流应用程序.具有横向扩展,容错,wicked fast(变态快)等优点. kafka中涉及的名词: 消息记录(r ...

filebeat + logstash 发送日志至kafka 入门

filebeat

logstash

kafka

filebeat + logstash 发送日志至kafka 入门相关推荐

最新文章

热门文章