ELK日志收集部署

ELK介绍

ELK是3个开源产品的组合：

Elasticsearch
Logstash
Kibana

全部由Elastic开发维护。

Elasticsearch是一个基于Lucene搜索引擎的NoSQL数据库。Logstash是一个日志管道工具，接受数据输入，执行数据转换，然后输出数据。Kibana是一个界面层，在Elasticsearch之上工作。另外，ELK栈中还包含称为Beats的日志收集器系列工具。

ELK最常见的使用场景是作为互联网产品的日志系统，当然ELK栈也可用于其他方面，例如：商业智能、大数据分析等。

Elasticsearch: 数据库,存数据 JAVA
Logstash: 收集日志,过滤数据 JAVA
Kibana, 分析, 过滤,展示 JAVA
Filebeat: 手机日志,传输到ES GO

日志收集分类
代理层: nginx haproxy
web层: nginx
db层: mysql redis mongo es

ELK主机规划

本次实验我们使用EFK的架构

53主机 Elasticsearch Kibana nginx filebeat

一.安装elasticsearch
在53主机操作

1.安装java环境

[root@db01 ~]# yum install -y java-1.8.0-openjdk

2.创建软件目录并拉取软件

[root@db01 ~]# mkdir /data/soft -p
https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.6.0.rpm
[root@db01 ~]# cd /data/soft
[root@db01 soft]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.6.0.rpm ##如果拉取不到的话也可以用浏览器实现下载好再上传到服务器

3.使用rpm安装elasticsearch

[root@db01 soft]# rpm -ivh elasticsearch-6.6.0.rpm

4.修改配置文件并创建数据目录

[root@db01 ~]# vim /etc/elasticsearch/elasticsearch.yml
node.name: node-1
path.data: /data/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 172.16.210.53
http.port: 9200
[root@db01 ~]# mkdir /data/elasticsearch/ -p
[root@db01 ~]# chown -R elasticsearch:elasticsearch /data/elasticsearch/ ##更改权限

5.修改内存锁定

[root@db01 soft]# systemctl edit  elasticsearch.service
##添加这两行信息
[Service]
LimitMEMLOCK=infinity

6.启动elasticsearch

[root@db01 soft]# sudo systemctl daemon-reload
[root@db01 soft]# sudo systemctl enable elasticsearch.service
[root@db01 soft]# sudo systemctl start elasticsearch.service

7.时间同步
在所有主机上操作

yum install -y ntpdate #安装ntpdate
ntpdate time1.aliyun.com ##同步阿里云

二.安装kibana

在53主机操作

1.获取软件并安装

[root@db01 soft]# wget https://artifacts.elastic.co/downloads/kibana/kibana-6.6.0-x86_64.rpm ##拉取kibana安装包,如果拉取不了也可以使用浏览器提前下下载好,再上传至服务器
[root@db01 soft]# rpm -ivh kibana-6.6.0-x86_64.rpm 　＃＃安装kibana

2.编辑kibana配置文件

[root@db01 soft]# vim /etc/kibana/kibana.yml
##定义端口
server.port: 5601
##定义主机
server.host: "172.16.210.53"
##定义主机名
server.name: "db01"
##定义elasticsearch的主机
elasticsearch.hosts: ["http://localhost:9200"]
##开启kibana在elasticsearch的索引
kibana.index: ".kibana"

3.启动kibana

[root@db01 soft]# systemctl start kibana
[root@db01 soft]# systemctl enable kibana

4.检查端口

[root@db01 soft]# netstat -lntup | grep 5601 ##检查端口5601端口是否打开
tcp        0      0 172.16.210.53:5601      0.0.0.0:*               LISTEN      2955/node

5.打开web访问
需要等一下时间再访问53主机地址:5601

三.安装filebeat

在53主机操作

1.获取filebeat软件包并安装

[root@db01 soft]# wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.6.0-x86_64.rpm ##获取软件包
[root@db01 soft]# rpm -ivh filebeat-6.6.0-x86_64.rpm ##开始安装

2.修改配置文件

[root@db01 soft]# cp /etc/filebeat/filebeat.yml{,bak}  ##修改前先备份一份
[root@db01 soft]# vim /etc/filebeat/filebeat.yml ##修改配置文件
filebeat.inputs:
- type: log
##打开日志提取enabled: true
##定义要提取的日志文件路径  paths:- /var/log/nginx/access.log
##定义将日志输出到的elasticsearch主机
output.elasticsearch:hosts: ["172.16.210.53:9200"]

3.启动服务

[root@db01 soft]# systemctl start filebeat
[root@db01 soft]# systemctl enable filebeat

四.安装nginx

在53主机操作

1.安装nginx和web测试工具

[root@db01 soft]# yum install nginx httpd-tools -y

2.启动nginx

[root@db01 soft]# systemctl start nginx
[root@db01 soft]# systemctl enable nginx

3.进行压力测试

[root@db01 soft]# ab -n 100 -c 100 http://172.16.210.53/
[root@db01 soft]# tailf /var/log/nginx/access.log ##查看是否生产日志
172.16.210.53 - - [21/Jun/2020:14:50:41 +0800] "GET / HTTP/1.0" 200 4833 "-" "ApacheBench/2.3" "-"
172.16.210.53 - - [21/Jun/2020:14:50:41 +0800] "GET / HTTP/1.0" 200 4833 "-" "ApacheBench/2.3" "-"
172.16.210.53 - - [21/Jun/2020:14:50:41 +0800] "GET / HTTP/1.0" 200 4833 "-" "ApacheBench/2.3" "-"
172.16.210.53 - - [21/Jun/2020:14:50:41 +0800] "GET / HTTP/1.0" 200 4833 "-" "ApacheBench/2.3" "-"
172.16.210.53 - - [21/Jun/2020:14:50:41 +0800] "GET / HTTP/1.0" 200 4833 "-" "ApacheBench/2.3" "-"
172.16.210.53 - - [21/Jun/2020:14:50:41 +0800] "GET / HTTP/1.0" 200 4833 "-" "ApacheBench/2.3" "-"
172.16.210.53 - - [21/Jun/2020:14:50:41 +0800] "GET / HTTP/1.0" 200 4833 "-" "ApacheBench/2.3" "-"

使用kibana展示数据

访问kibana的web界面点击Management

点击index Patterns

输入filebeat收集到的日志索引,再点击Next step

选择第一个

再点击Create index pattern

创建完成后,再点击Discover

现在没有数据是因为,最近15分钟没有数据产生,我们可以更改时间

更改为最近4小时的数据就能看见数据了

点击小三角,可以查看详细信息

如果想看某种信息,可以点击添加

此时,就能只看nginx的访问信息了

可以点击进入某个时间段

然后输入200

点击Refeesh就可以查看状态码为200的访问信息,并且统计出为200个

也可查看404状态的次数

也可以手动设置想查看的内容

点击添加过滤项,设置为Chrome

也可以查看使用Chrome访问的次数

也可以双重过滤,过滤使用chrome浏览器并且404的信息

多创建几个过滤项,然后想过滤那个信息,就勾选那个信息就好了,不想过滤那个信息,就取消勾选

也可以排除过滤

过滤访问状态是200的信息,但是排除过滤使用curl的信息

1 ELK安装部署并监控nginx相关推荐

Docker ElK安装部署使用教程
Docker ElK安装部署使用教程原文:Docker ElK安装部署使用教程一.简介 1.核心组成 ELK由Elasticsearch.Logstash和Kibana三部分组件组成: Elast ...
grafana graphite statsd搭建安装部署实时监控_亲测成功
grafana graphite statsd搭建安装部署实时监控_亲测成功 docker部署grafana graphite stastd实时监控告警配置_亲测成功下载软件 # 下载carbon ...
zabbix安装部署windows_Zabbix监控windows部署安装
Zabbix agent 在windows上安装部署 1. 下载与解压解压zabbix_agents_2.4.0.win.zip conf目录存放是agent配置文件 bin文件存放windows ...
ELK YUM 安装部署添加监控
简介 ELK 官网: https://www.elastic.co/cn/what-is/elk-stack ElasticSearch ElasticSearch 是一个高可用开源全文检索和分析组件 ...
傲云浏览器linux,Centos7安装部署zabbix监控软件
目录部署监控服务器部署监控服务器Zabbix Server Web页面验证设置部署监控服务器一.安装LNMP环境 Zabbix监控管理控制台需要通过Web页面展示出来,并且还需要使用MySQL ...
Centos7安装部署zabbix监控软件
目录部署监控服务器部署监控服务器Zabbix Server Web页面验证设置部署监控服务器一.安装LNMP环境 Zabbix监控管理控制台需要通过Web页面展示出来,并且还需要使用MySQL ...
ELK 安装部署（入门必备）
一.简介 ELK是Elasticsearch.Logstash.Kibana的简称,这三者是核心套件,但并非全部. Elasticsearch是实时全文搜索和分析引擎,提供搜集.分析.存储数据三大功能 ...
1. ELK docker部署
1 拉取镜像,启动 docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -it --name elk sebp/elk 由于我本机内存不符合安装要求,为 ...
TeamTalk安装部署手册
TeamTalk安装部署手册一.部署环境操作系统:CentOS 7 X64(由于gcc版本问题,官方推荐centos7), CPU:2核内存:1024M 硬盘:8G 虚拟机:VirtualBox ...

1 ELK安装部署并监控nginx

ELK日志收集部署

ELK介绍

ELK主机规划

二.安装kibana

三.安装filebeat

四.安装nginx

使用kibana展示数据

1 ELK安装部署并监控nginx相关推荐

最新文章

热门文章