[喵咪BELK实战(3)] logstash+filebeat搭建
[喵咪BELK实战(3)] logstash+filebeat搭建
前言
在上节我们已经把elasticsearch+kibana已经搭建起来了,可以正常的进行数据的索引查询了,但是直接对elasticsearch进行操作也非常不方便, elasticsearch很难对接其他的数据源,这是使用就需要logstash和filebeat出场了…
附上:
喵了个咪的博客:w-blog.cn
官网地址:https://www.elastic.co/cn/
1. logstash
logstash主要的作用就是输入输出进行数据的处理,官方声称支持十几种数据输入源和输出源,并且可以多点分发是一个很强大的工具,我们主要使用的是它的数据处理功能(比如解析日志提取关键字索引,数据过滤等)
1.1 安装
wget https://artifacts.elastic.co/downloads/logstash/logstash-5.3.0.tar.gz
tar -zxvf logstash-5.3.0.tar.gz
mv logstash-5.3.0 /usr/local/
1.2 第一条管道
从之前的介绍有了解到logstash它的主要功能是处理数据进行输入输出,所以我们就要搭建一条输入输出的数据通道来进行数据传输,创建这条管道的配置文件:
vim /usr/local/logstash-5.3.0/config/first-pipeline.conf
# 制定输入源为beats 并且开发9011端口接受数据
input {beats { port => 9011}
}
# 制定数据输出源为elasticsearch 并且指定index名称
output {elasticsearch {hosts => [ "localhost:9200" ]index => "first-pipeline-%{+YYYY.MM.dd}"}
}
试着启动logstash: /usr/local/logstash-5.3.0/bin/logstash -f /usr/local/logstash-5.3.0/config/first-pipeline.conf 看到如下输出证明以及成功启动logstash
[2017-05-04T09:55:59,951][INFO ][logstash.inputs.beats ] Beats inputs: Starting input listener {:address=>"0.0.0.0:9011"}
[2017-05-04T09:56:00,007][INFO ][logstash.pipeline ] Pipeline main started
[2017-05-04T09:56:00,104][INFO ][logstash.agent ] Successfully started Logstash API endpoint {:port=>9600}
使用Supervisor运行
使用Supervisor常驻启动修改配置文件加入如下语句在重启Supervisor就可以在后台运行
;你需要启动的进程给个名字
[program:logstash]
;你需要执行的语句
command=/usr/local/logstash-5.3.0/bin/logstash -f /usr/local/logstash-5.3.0/config/first-pipeline.conf
;是否自动启动
autostart=true
autorestart=true
;运行程序的用户
user=root
2. filebeat
虽然logstash也可以直接监听文件的数据,为什么还需要filebeat呢? 应为一般我们需要采集很多台服务器上的日志时需要做到尽量少的占用资源以及尽可能的简单,logstash使用JAVA编写可想而知对于资源消耗也不可小视,filebeat使用GO编写几乎做到不影响机器性能,并且filebeat还可以进行最基础的分类这就是选择filebeat的原因(之前beats是整合在logstash后面应为种种原因被分离了出来)
注意1:beats由很多程序组成filebeat只是其中对文件进行采集的一种
注意2:不一定要使用beats, logstash也可以直接接受各种组件上传的日志beats只是其中一种
2.1 安装
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.3.1-linux-x86_64.tar.gz
tar -zxvf filebeat-5.3.1-linux-x86_64.tar.gz
mv filebeat-5.3.1-linux-x86_64 /usr/local/filebeat-5.3.1
2.2 配置采集数据源
既然是采集文件数据当然少不了对采集数据源的配置
vim /usr/local/filebeat-5.3.1/filebeat.yml
默认filebeat输出源是elasticsearch我们需要替换成logstash
# 修改如下语句output.elasticsearch: -> output.logstash:hosts: ["localhost:9200"] -> hosts: ["localhost:9011"]
配置文件默认采集/var/log下以.log结尾的文件
- input_type: log
paths:- /var/log/*.log
使用如下命令运行 :/usr/local/filebeat-5.3.1/filebeat -c /usr/local/filebeat-5.3.1/filebeat.yml
2.3 使用Supervisor运行
使用Supervisor常驻启动修改配置文件加入如下语句在重启Supervisor就可以在后台运行
;你需要启动的进程给个名字
[program:filebeat]
;你需要执行的语句
command=/usr/local/filebeat-5.3.1/filebeat -c /usr/local/filebeat-5.3.1/filebeat.yml
;是否自动启动
autostart=true
autorestart=true
;运行程序的用户
user=root
3 在kibana中查看采集的日志
正常采集起来之后就可以在kibana中添加一个查看的索引了
这个时候就把/var/log中所有以.log结尾的日志全部采集上来了并且可以通过source来进行文件的选择
这是选择了只看yum.log之后的效果
4. 总结
到这里我们基本上吧BELK已经完整的搭建起来并且对日志开始采集了,但是BELK不仅仅如此,还有对于kibana的使用,对于各类日志的处理,对于时间的处理,对于索引字段的增加等还有很多细节,继续关注喵了个咪的博客会为大家带来更多的关于BELK的使用技巧
注:笔者能力有限有说的不对的地方希望大家能够指出,也希望多多交流!
[喵咪BELK实战(3)] logstash+filebeat搭建相关推荐
- [喵咪BELK实战(2)] elasticsearch+kibana搭建
[喵咪BELK实战(2)] elasticsearch+kibana搭建 前言 上一节我们介绍了日志系统和BELK之后就要到激动人心的安装环境了,实践出真知都知道日志系统很重要只有把它搭建起来才有效果 ...
- [喵咪大数据]初识大数据
大数据互联网时代下大家耳熟能详的名词,但是我们离大数据有多远呢?从2011Hadoop1.0问世到现在,渐渐地大数据解决方案已经趋向成熟,笔者觉得也是时间来学习接触一下大数据解决一些在工作中实际遇到的 ...
- [喵咪大数据]Hive2搭建和基本操作
[喵咪大数据]Hive2搭建和基本操作 说的Hadoop生态有一个不得不提的组件那就是,Hive是基于Hadoop结构化存储引擎,能够存储海量的数据,Hive提供了类SQL的方式对数据进行查询检索汇总 ...
- [喵咪开源软件推荐(6)]TCP链路加速技术KcpTun
[喵咪开源软件推荐(6)]TCP链路加速技术KcpTun 今天有给大家带来新的东西KcpTun,KcpTun是利用Kcp技术对Tcp链路传输进行加速,大家熟知的网络协议一般是UDP和TCP,UDP传输 ...
- [喵咪开源软件推荐(5)]开源DNS服务-bind
[喵咪开源软件推荐(5)]开源DNS服务-bind 哈喽大家好呀!~~ 今天又为大家带来了一个有趣的东西就是DNS服务器,稍微了解网络的童鞋都知道我们在使用域名访问一个网站的时候是通过公共DNS服务器 ...
- [喵咪Redis]Redis-Sentinel
[喵咪Redis]Redis-Sentinel 前言 redis-Sentinel 是我们这次来一同学习 redis 的重点,在我们现在的系统已经离不开 redis 的时候 , redis 挂掉了或者 ...
- [喵咪大数据]Hadoop单机模式
千里之行始于足下,学习大数据我们首先就要先接触Hadoop,上节介绍到Hadoop分为Hadoop-HDFS,Hadoop-YARN,Hadoop-Mapreduce组成,分别负责分布式文件存储,任务 ...
- [喵咪KafKa(2)]单机模式运行KafKa
2019独角兽企业重金招聘Python工程师标准>>> [喵咪KafKa(2)]单机模式运行KafKa# 前言## 在上节我们介绍完KafKa之后,今天我们来搭建KafKa三种模式( ...
- [喵咪Redis]Redis安装与介绍
[喵咪Redis]Redis安装与介绍 前言 哈喽大家好啊,这次要来和大家一起来了解学习Redis的一系列技术,最终目的是搭建一个高可用redis集群自动负载灾备,那我们先从最基础的Redis的一些基 ...
最新文章
- 冒泡排序 oj - Google 搜索
- resultset需要关闭吗_旧电脑福音!关闭Windows这些没用的设置,电脑性能至少提升50%!...
- C#以对象为成员的例子
- python 操作excel神器_【转】多图+代码 | 详解Python操作Excel神器openpyxl的各种操作!...
- SQL2K数据库开发十四之表操作设置用户对表的权限
- 给Metasploit安装无Lorcon2线支持模块
- JFrame的层次结构究竟是什么样的,什么又是ContentPane()
- Android软件安全开发实践
- layui 表格时间显示问题
- 小游戏SDK对提高用户留存率的优势
- 货币金融学(米什金)笔记:金融体系、货币相关
- C/C++ fabs 函数 - C语言零基础入门教程
- 【渝粤题库】陕西师范大学292251 公司金融学Ⅰ 作业(高起专)
- 学习 Lisp 语言的相关书籍
- Ubuntu 安装 AMD GPU 驱动
- 基于神经网络的文本分类算法
- 延边大学计算机专业考研,计算机专业考研成功经验谈
- 【论文笔记】基于范围的有障碍最近邻查询(RONN)
- 如何下载jdk源码、hotspot源码
- 磨金石教育摄影技能干货分享|古风人像拍摄要注意哪些问题