elk7.2+filebeat
ELK (Elasticsearch + Logstash + Kibana),是一个开源的日志收集平台,用于收集各种客户端日志文件在同一个平台上面做数据分析。
ELK组件:
- Elasticsearch:负责日志检索和储存
- Logstash:负责日志的收集和分析、处理
- Kibana:负责日志的可视化
- 这三款软件都是开源软件,通常是配合使用,而且又先后归于Elastic.co公司名下,故被简称为ELK
ELK安装:
一:环境
说明:安装包版本均使用7.2.0,同时客户端使用Firebeat采集日志数据,建议提前下好安装包上传至服务器
如果是压缩包安装需添加elk用户,Elasticsearch用root启动会报错
groupadd elk useradd -g elk elk passwd elk
安装java8:
yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel -y
二:安装 Elasticsearch: 这里使用rpm包安装
rpm -ivh elasticsearch-7.2.0-x86_64.rpm rpm -ivh kibana-7.2.0-x86_64.rpm rpm -ivh logstash-7.2.0.rpm
rpm 安装后会自东生成system服务
启动 systemctl start elasticearch
启动后默认监听端口
修改配置文件
vim /etc/elasticsearch/elasticsearch.yml
cluster.name: my-application node.name: es1 path.data: /var/lib/elasticsearch path.logs: /var/log/elasticsearch network.host: "0.0.0.0" http.port: 9200 cluster.initial_master_nodes: ["es1"]
验证 curl 127.0.0.1:9200 (备注:单机默认配置无需修改,如需配置network-host等配置,必须设置
cluster.initial_master_nodes: ["es1"],否者启动会报错)
rpm安装的安装包配置文件默认均在/etc/相关目录下
三: kibana配置(rpm包上面已经安装,直接修改配置文件)
vim /etc/kibana/kibana.yml
server.port: 5601 server.host: "0.0.0.0" server.name: "es1" elasticsearch.hosts: ["http://127.0.0.1:9200"] kibana.index: ".kibana"
systemctl start kibana
修改yml文件注意格式,key和vlaue必须有空格
kibana默认监听5601端口
访问http://192.168.18.144:5601
四:logstash配置
vim /etc/logstash/logstash.yml
path.data: /var/lib/logstash path.config: "/etc/logtash/conf.d" path.logs: /var/log/logstash
这里加入了一个include的目录
同时链接到软件目录下方便后面修改
ln -s /etc/logstash /usr/share/logstash/config
编辑一个测试文件
vim /usr/share/logstash/config/conf.d/test.conf
input{file{path => ["/var/log/elasticsearch"]type => "elasticsearch-log"start_position => "beginning"} }filter{}output{elasticsearch{hosts => ["127.0.0.1:9200"]index => "system-log-%{+YYYY.MM.dd}"} }
关闭system启动方式
system disabled logstash
启动:/usr/share/logstash/bin/logstash -f /usr/share/logstash/config/conf.d/test.conf
启动后就可以在kibana上看到信息了(这种启动方式当你关闭终端,或者ctrl+c时logstash就会退出。建议使用supervisord守护进程,详细会在后续文章放出)
创建之后就可以在仪表盘看到日志信息了
五:安装filebeat
Filebeat是一个日志文件托运工具,在你的服务器上安装客户端后,filebeat会监控日志目录或者指定的日志文件,追踪读取这些文件(追踪文件的变化,不停的读),并且转发这些信息到elasticsearch或者logstarsh中存放。
rpm -ivh filebeat-7.2.0-x86_64.rpm
更改配置文件(备份原来的配置文件新建一份)
vim /etc/filebeat/filebeat.yml (7.2版本 filebeat.prospectors参数废弃)
filebeat.inputs:
- input_type: log
enabeld: true
paths:
- /var/log/elasticsearch/*.log
output.logstash:
hosts: ["127.0.0.1:5044"]
日志输出到logstash,所以对应要修改logstash的启动配置文件,设置logstash监听在5044端口
input{beats{port => "5044" } }filter{}output{elasticsearch{hosts => ["127.0.0.1:9200"]index => "system-log-%{+YYYY.MM.dd}"} }
启动 systemctl start filebeat
六:nginx反向代理kibana并设置登录验证
Kibana的登录验证插件是收费功能,这里我们使用nginx来反向代理并设置登录验证。 用来安装nginx的服务器IP是192.168.18.154 nginx安装过程不在赘述 需要安装httpd的密码文件工具 yum -y install httpd-tools htpasswd -c -b /etc/nginx/passwd/kibana.passwd kibana kibana123(注意创建目录)
编辑nginx配置文件
vim /etc/nginx/conf.d/kibana.conf
server {listen 80;server_name kibana.shiji.com;access_log /var/log/nginx/kibana/kinaba_access.log main;error_log /var/log/nginx/kibana/kinaba_error.log;auth_basic "Kibana Auth";auth_basic_user_file /etc/nginx/passwd/kibana.passwd;location / {proxy_pass http://192.168.18.144:5601; proxy_redirect off;}}
最后效果
转载于:https://www.cnblogs.com/shiji888/p/11122173.html
elk7.2+filebeat相关推荐
- 最全elk7.1.1单机配置: ELK+Filebeat+Kafka!
ELK单机配置 使用软件版本 applicationName version java 1.8 kafka 2.12-2.2.1 filbeat 7.1.1 logstash 7.1.1 elasti ...
- 快速搭建ELK7.5版本的日志分析系统--搭建篇
一.ELK安装部署 官网地址:https://www.elastic.co/cn/ 官网权威指南:https://www.elastic.co/guide/cn/elasticsearch/guide ...
- centos7 最小安装 ELK7.9.0 生产部署 elasticsearch7.9.0 + kibana7.9.0 一键部署
##(ELK7.9.0生产部署 elasticsearch7.9) 1. 软件下载 百度网盘下载,官方下载太慢了 链接: https://pan.baidu.com/s/1LGFJnIYghJDLAh ...
- 2021年大数据ELK(二十):FileBeat是如何工作的
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 FileBeat是如何工作的 一.input和harvester 1.inpu ...
- 2021年大数据ELK(十九):使用FileBeat采集Kafka日志到Elasticsearch
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 使用FileBeat采集Kafka日志到Elasticsearch 一.需求分 ...
- 2021年大数据ELK(十八):Beats 简单介绍和FileBeat工作原理
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 Beats 简单介绍和FileBeat工作原理 一.Beats 二.FileB ...
- ELK教程3:logstash的部署、SpringBoot整合ELK+Filebeat
本篇文章主要讲解如下安装Logstash,logstash依赖于Java环境,首先安装Java,安装脚本如下: yum install java logstash安装 Logstash的安装脚本如下: ...
- 一篇文章搞懂Filebeat
本文使用的Filebeat是7.7.0的版本,文章将从如下几个方面说明: Filebeat是什么,可以用来干嘛 Filebeat的原理是怎样的,怎么构成的 Filebeat应该怎么玩 Filebeat ...
- filebeat.yml配置和logstash.conf
(1) filebeat.prospectors: - input_type: log paths: - /log/abcbillserver.log #- /home/haoren/data/fil ...
最新文章
- 实现对学生表的删除操作
- JS 取消冒泡事件 兼容火狐IE
- Python常用模块之hashlib模块
- AndroidStudio中安装GsonFormat插件并根据json文件生成JavaBean
- 小明分享:SSD201/202系统烧录篇,多种烧录方式,小明都做了分享,有需要的小伙伴拿走不谢哈!更多资料需求可以关注我,我是启明云端的小明MM!
- 与众不同 制作会唱歌的WinRAR - imsoft.cnblogs
- Typecho浅色三栏主题
- 2021高考成绩查询截图,科目四2021模拟考试成绩截图
- 深入浅出 Proguard
- 5.产品的三种流程图,你都知道吗?
- Python学习—2048小游戏等4个小练习
- 2021年杭州电子科技计算机考研大纲,杭州电子科技大学2021年硕士研究生招生专业目录与自命题科目考试大纲...
- Android 4.2蓝牙介绍
- 程序员学习的网站(持续收集中)
- 牛顿莱布尼茨公式 几何解释
- 古筝数据matlab格式2
- html标签blockquote,HTML中的blockquote标签怎么用
- android定时启动 tasker,Android 神器 Tasker 个人的一些配置
- VUE解决warning(Emitted value instead of an instance of Error) el-table-column v-for=item in batch问题
- [乡土民间故事_徐苟三传奇]第四四回_赵员外苕吃假香肠
热门文章
- AutoCAD 命令参考手册
- 化浆池是什么东西_冷水滩酒店海鲜贝类池定制定做大型海鲜池
- 新手学python用什么软件-初学 Python 需要安装哪些软件?
- python详细教程-Python入门教程:超详细1小时学会Python
- python界面图片-python图形用户界面(六):可视化给图片添加上文字
- python软件开发-Python
- python手机版idle-Python入门 | IDLE的介绍和使用方法
- python 条形图-python使用Plotly绘图工具绘制水平条形图
- 用python做炒股软件-python程序源码_基于python的炒股软件
- python需要基础吗-没有任何基础,要怎么学习Python?