ELK (Elasticsearch + Logstash + Kibana),是一个开源的日志收集平台,用于收集各种客户端日志文件在同一个平台上面做数据分析。

ELK组件:

  • Elasticsearch:负责日志检索和储存
  • Logstash:负责日志的收集和分析、处理
  • Kibana:负责日志的可视化
  • 这三款软件都是开源软件,通常是配合使用,而且又先后归于Elastic.co公司名下,故被简称为ELK

ELK安装:

一:环境

说明:安装包版本均使用7.2.0,同时客户端使用Firebeat采集日志数据,建议提前下好安装包上传至服务器

如果是压缩包安装需添加elk用户,Elasticsearch用root启动会报错

groupadd  elk
useradd -g elk elk
passwd elk

安装java8:

yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel -y

二:安装 Elasticsearch:  这里使用rpm包安装

rpm -ivh elasticsearch-7.2.0-x86_64.rpm
rpm -ivh kibana-7.2.0-x86_64.rpm
rpm -ivh logstash-7.2.0.rpm

rpm 安装后会自东生成system服务

启动  systemctl start elasticearch

启动后默认监听端口

修改配置文件

vim /etc/elasticsearch/elasticsearch.yml

cluster.name: my-application
node.name: es1
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: "0.0.0.0"
http.port: 9200
cluster.initial_master_nodes: ["es1"]

验证  curl  127.0.0.1:9200 (备注:单机默认配置无需修改,如需配置network-host等配置,必须设置

cluster.initial_master_nodes: ["es1"],否者启动会报错)

rpm安装的安装包配置文件默认均在/etc/相关目录下

三: kibana配置(rpm包上面已经安装,直接修改配置文件)

vim  /etc/kibana/kibana.yml

server.port: 5601
server.host: "0.0.0.0"
server.name: "es1"
elasticsearch.hosts: ["http://127.0.0.1:9200"]
kibana.index: ".kibana"

systemctl start kibana

修改yml文件注意格式,key和vlaue必须有空格

kibana默认监听5601端口

访问http://192.168.18.144:5601

 四:logstash配置

vim /etc/logstash/logstash.yml

path.data: /var/lib/logstash
path.config: "/etc/logtash/conf.d"
path.logs: /var/log/logstash

这里加入了一个include的目录

同时链接到软件目录下方便后面修改

ln -s /etc/logstash /usr/share/logstash/config

编辑一个测试文件

vim /usr/share/logstash/config/conf.d/test.conf

input{file{path => ["/var/log/elasticsearch"]type => "elasticsearch-log"start_position => "beginning"}
}filter{}output{elasticsearch{hosts => ["127.0.0.1:9200"]index => "system-log-%{+YYYY.MM.dd}"}
}

关闭system启动方式

system disabled logstash

启动:/usr/share/logstash/bin/logstash -f /usr/share/logstash/config/conf.d/test.conf

启动后就可以在kibana上看到信息了(这种启动方式当你关闭终端,或者ctrl+c时logstash就会退出。建议使用supervisord守护进程,详细会在后续文章放出)

创建之后就可以在仪表盘看到日志信息了

五:安装filebeat

Filebeat是一个日志文件托运工具,在你的服务器上安装客户端后,filebeat会监控日志目录或者指定的日志文件,追踪读取这些文件(追踪文件的变化,不停的读),并且转发这些信息到elasticsearch或者logstarsh中存放

rpm -ivh filebeat-7.2.0-x86_64.rpm

更改配置文件(备份原来的配置文件新建一份)

vim /etc/filebeat/filebeat.yml  (7.2版本   filebeat.prospectors参数废弃)

filebeat.inputs:
- input_type: log
enabeld: true
paths:
- /var/log/elasticsearch/*.log

output.logstash:
hosts: ["127.0.0.1:5044"]

日志输出到logstash,所以对应要修改logstash的启动配置文件,设置logstash监听在5044端口

input{beats{port => "5044"    }
}filter{}output{elasticsearch{hosts => ["127.0.0.1:9200"]index => "system-log-%{+YYYY.MM.dd}"}
}

启动 systemctl  start  filebeat

六:nginx反向代理kibana并设置登录验证

Kibana的登录验证插件是收费功能,这里我们使用nginx来反向代理并设置登录验证。
用来安装nginx的服务器IP是192.168.18.154
nginx安装过程不在赘述
需要安装httpd的密码文件工具
yum -y install httpd-tools
htpasswd -c -b /etc/nginx/passwd/kibana.passwd kibana kibana123(注意创建目录)

编辑nginx配置文件

vim /etc/nginx/conf.d/kibana.conf

server
{listen 80;server_name kibana.shiji.com;access_log /var/log/nginx/kibana/kinaba_access.log main;error_log /var/log/nginx/kibana/kinaba_error.log;auth_basic "Kibana Auth";auth_basic_user_file /etc/nginx/passwd/kibana.passwd;location / {proxy_pass http://192.168.18.144:5601;
    proxy_redirect off;}}

最后效果

转载于:https://www.cnblogs.com/shiji888/p/11122173.html

elk7.2+filebeat相关推荐

  1. 最全elk7.1.1单机配置: ELK+Filebeat+Kafka!

    ELK单机配置 使用软件版本 applicationName version java 1.8 kafka 2.12-2.2.1 filbeat 7.1.1 logstash 7.1.1 elasti ...

  2. 快速搭建ELK7.5版本的日志分析系统--搭建篇

    一.ELK安装部署 官网地址:https://www.elastic.co/cn/ 官网权威指南:https://www.elastic.co/guide/cn/elasticsearch/guide ...

  3. centos7 最小安装 ELK7.9.0 生产部署 elasticsearch7.9.0 + kibana7.9.0 一键部署

    ##(ELK7.9.0生产部署 elasticsearch7.9) 1. 软件下载 百度网盘下载,官方下载太慢了 链接: https://pan.baidu.com/s/1LGFJnIYghJDLAh ...

  4. 2021年大数据ELK(二十):FileBeat是如何工作的

    全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 FileBeat是如何工作的 一.input和harvester 1.inpu ...

  5. 2021年大数据ELK(十九):使用FileBeat采集Kafka日志到Elasticsearch

    全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 使用FileBeat采集Kafka日志到Elasticsearch 一.需求分 ...

  6. 2021年大数据ELK(十八):Beats 简单介绍和FileBeat工作原理

    全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 Beats 简单介绍和FileBeat工作原理 一.Beats 二.FileB ...

  7. ELK教程3:logstash的部署、SpringBoot整合ELK+Filebeat

    本篇文章主要讲解如下安装Logstash,logstash依赖于Java环境,首先安装Java,安装脚本如下: yum install java logstash安装 Logstash的安装脚本如下: ...

  8. 一篇文章搞懂Filebeat

    本文使用的Filebeat是7.7.0的版本,文章将从如下几个方面说明: Filebeat是什么,可以用来干嘛 Filebeat的原理是怎样的,怎么构成的 Filebeat应该怎么玩 Filebeat ...

  9. filebeat.yml配置和logstash.conf

    (1) filebeat.prospectors: - input_type: log paths: - /log/abcbillserver.log #- /home/haoren/data/fil ...

最新文章

  1. 实现对学生表的删除操作
  2. JS 取消冒泡事件 兼容火狐IE
  3. Python常用模块之hashlib模块
  4. AndroidStudio中安装GsonFormat插件并根据json文件生成JavaBean
  5. 小明分享:SSD201/202系统烧录篇,多种烧录方式,小明都做了分享,有需要的小伙伴拿走不谢哈!更多资料需求可以关注我,我是启明云端的小明MM!
  6. 与众不同 制作会唱歌的WinRAR - imsoft.cnblogs
  7. Typecho浅色三栏主题
  8. 2021高考成绩查询截图,科目四2021模拟考试成绩截图
  9. 深入浅出 Proguard
  10. 5.产品的三种流程图,你都知道吗?
  11. Python学习—2048小游戏等4个小练习
  12. 2021年杭州电子科技计算机考研大纲,杭州电子科技大学2021年硕士研究生招生专业目录与自命题科目考试大纲...
  13. Android 4.2蓝牙介绍
  14. 程序员学习的网站(持续收集中)
  15. 牛顿莱布尼茨公式 几何解释
  16. 古筝数据matlab格式2
  17. html标签blockquote,HTML中的blockquote标签怎么用
  18. android定时启动 tasker,Android 神器 Tasker 个人的一些配置
  19. VUE解决warning(Emitted value instead of an instance of Error) el-table-column v-for=item in batch问题
  20. [乡土民间故事_徐苟三传奇]第四四回_赵员外苕吃假香肠

热门文章

  1. AutoCAD 命令参考手册
  2. 化浆池是什么东西_冷水滩酒店海鲜贝类池定制定做大型海鲜池
  3. 新手学python用什么软件-初学 Python 需要安装哪些软件?
  4. python详细教程-Python入门教程:超详细1小时学会Python
  5. python界面图片-python图形用户界面(六):可视化给图片添加上文字
  6. python软件开发-Python
  7. python手机版idle-Python入门 | IDLE的介绍和使用方法
  8. python 条形图-python使用Plotly绘图工具绘制水平条形图
  9. 用python做炒股软件-python程序源码_基于python的炒股软件
  10. python需要基础吗-没有任何基础,要怎么学习Python?