引言

ELK日志分析系统（一）之ELK原理

一、Elasticsearch 集群部署（在Node1上操作）

Node1节点：192.168.109.11
Node2节点：192.168.109.12
Apache节点：192.168.109.13

Elasticsearch包下载地址
https://www.elastic.co/cn/downloads/past-releases/elasticsearch-5-5-0

1、准备环境

更改主机名，配置域名解析，查看java环境

hostnamectl set-hostname node1
bash
systemctl stop firewalld
setenforce 0
vim /etc/hosts
java –version

2、部署安装Elasticsearch软件

rpm -ivh elasticsearch-5.5.0.rpm
cd /etc/elasticsearch/
cp elasticsearch.yml elasticsearch.yml.bak

3、配置Elasticsearch主配置文件

vim /etc/elasticsearch/elasticsearch.yml--17--取消注释，指定集群名字
cluster.name: zhang
--23--取消注释，指定节点名字：Node1节点为node1，Node2节点为node2
node.name: node1
--33--取消注释，指定数据存放路径
path.data: /data/elk_data
--37--取消注释，指定日志存放路径
path.logs: /var/log/elasticsearch/
--43--取消注释，改为在启动的时候不锁定内存
bootstrap.memory_lock: false
--55--取消注释，设置监听地址，0.0.0.0代表所有地址
network.host: 0.0.0.0
--59--取消注释，ES 服务的默认监听端口为9200
http.port: 9200
--68--取消注释，集群发现通过单播实现，指定要发现的节点 node1、node2
discovery.zen.ping.unicast.hosts: ["node1", "node2"]

grep -v "^#" /etc/elasticsearch/elasticsearch.yml

4、创建数据存放路径并授权

mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/
systemctl start elasticsearch
netstat -antp | grep 9200
systemctl enable --now elasticsearch.service
netstat -antp | grep 9200

5、查看node1节点信息

二、Elasticsearch 集群部署（在Node2上操作）

1、前面步骤与node1节点一致

2、在node1节点上把配置文件上传到node2节点

scp elasticsearch.yml root@192.168.109.12:/etc/elasticsearch/

3、修改配置文件

vim /etc/elasticsearch/elasticsearch.yml
grep -v "^#" /etc/elasticsearch/elasticsearch.yml

4、创建数据存放路径并授权

mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/
systemctl daemon-reload
systemctl enable --now elasticsearch.service
systemctl start elasticsearch
netstat -antp | grep 9200

5、查看node2节点信息

由于es服务启动之后，访问界面比较丑陋，为了更好的查看索引库当中的信息，我们可以通过安装elasticsearch-head这个插件来实现，这个插件可以更方便快捷的看到es的管理界面。

三、安装 Elasticsearch-head 插件（node1和node2节点操作一样）

Elasticsearch 在 5.0 版本后，Elasticsearch-head 插件需要作为独立服务进行安装，需要使用npm工具（NodeJS的包管理工具）安装。
安装 Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs。

node：是一个基于 Chrome V8 引擎的 JavaScript 运行环境。
phantomjs：是一个基于 webkit 的JavaScriptAPI，可以理解为一个隐形的浏览器，任何基于 webkit 浏览器做的事情，它都可以做到。

1、编译安装 node

上传软件包 node-v8.2.1.tar.gz 到/opt
yum install gcc gcc-c++ make -ycd /opt
tar zxvf node-v8.2.1.tar.gzcd node-v8.2.1/
./configure
make && make install

2、安装 phantomjs

上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2到optcd /opttar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bincp phantomjs /usr/local/bin

3、安装 Elasticsearch-head 数据可视化工具

上传软件包 elasticsearch-head.tar.gz 到/optcd /opt
tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/
cd /usr/local/src/elasticsearch-head/
npm install

4、修改 Elasticsearch 主配置文件

vim /etc/elasticsearch/elasticsearch.yml--末尾添加以下内容--
http.cors.enabled: true
http.cors.allow-origin: "*"

5、修改Gruntfile.js配置文件

6、修改app.js配置文件

7、启动 elasticsearch-head 服务

/usr/local/src/elasticsearch-head/node_modules/grunt/bin
./grunt server

8、通过 Elasticsearch-head查看Elasticsearch 信息

浏览器访问 http://192.168.109.11:9100/ 地址并连接群集。如果看到群集健康值为 green 绿色，代表群集很健康。

9、插入索引，进行测试

curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"lcdb","mesg":"lichen youshoujiuxing"}'

浏览器访问 http://192.168.109.11:9100/ 查看索引信息，可以看见索引默认被分片5个，并且有一个副本。
点击“数据浏览”，会发现在node1上创建的索引为 index-demo，类型为 test 的相关信息。

四、Logstash 部署(192.168.109.13)

下载地址：https://www.elastic.co/cn/downloads/past-releases/logstash-5-5-1

Logstash 一般部署在需要监控其日志的服务器。在本案例中，Logstash 部署在 Apache 服务器上，用于收集 Apache 服务器的日志信息并发送到 Elasticsearch。

1、安装httpd服务

yum -y install httpd
systemctl start httpd

2、安装java环境

yum -y install java
java –version

3、安装logstash

cd /opt
rpm -ivh logstash-5.5.1.rpm
systemctl start logstash.service
systemctl enable logstash.service
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

4、测试 Logstash

4.1 Logstash 命令常用选项

-f：通过这个选项可以指定 Logstash 的配置文件，根据配置文件配置 Logstash 的输入和输出流。-e：从命令行中获取，输入、输出后面跟着字符串，该字符串可以被当作 Logstash 的配置（如果是空，则默认使用 stdin 作为输入，stdout 作为输出）。-t：测试配置文件是否正确，然后退出。

4.2 定义输入输出流

输入采用标准输入，输出采用标准输出（类似管道）
指定数据输入端口，默认为9600~9700
logstash -e ‘input { stdin{} } output { stdout{} }’

4.3 使用 rubydebug 输出详细格式显示，codec 为一种编解码器

logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'

4.4 使用 Logstash 将信息写入 Elasticsearch 中

logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.109.11:9200"] } }'

结果不在标准输出显示，而是发送至 Elasticsearch 中，可浏览器访问 http://192.168.109.11:9100/ 查看索引信息和数据浏览。

5、定义logstash配置文件

Logstash 配置文件基本由三部分组成（根据需要选择使用）

1. input：表示从数据源采集数据，常见的数据源如Kafka、日志文件等
2. filter：表示数据处理层，包括对数据进行格式化处理、数据类型转换、数据过滤等，支持正则表达式
3. output：表示将Logstash收集的数据经由过滤器处理之后输出到Elasticsearch。

修改 Logstash 配置文件，让其收集系统日志/var/log/messages，并将其输出到 elasticsearch 中

input {file{path =>"/var/log/messages"type =>"system"start_position =>"beginning"}}
output {elasticsearch {hosts => ["192.168.109.11:9200"]index =>"system-%{+YYYY.MM.dd}"
}
}

6、浏览器验证，查看索引信息

可以看到有很多的信息，但不好过滤信息，所以我们接下来安装kiabana

五、Kibana部署（Node1节点）

下载地址：https://www.elastic.co/cn/downloads/past-releases/kibana-5-5-1

1、安装 Kibana

cd /opt
rpm -ivh kibana-5.5.1-x86_64.rpm

2、设置kibana的主配置文件

vim /etc/kibana/kibana.yml--2--取消注释，Kiabana 服务的默认监听端口为5601
server.port: 5601
--7--取消注释，设置 Kiabana 的监听地址，0.0.0.0代表所有地址
server.host: "0.0.0.0"
--21--取消注释，设置和 Elasticsearch 建立连接的地址和端口
elasticsearch.url: "http://192.168.80.10:9200"
--30--取消注释，设置在 elasticsearch 中添加.kibana索引
kibana.index: ".kibana"

3、启动kibana服务

systemctl daemon-reload
systemctl start kibana.service
systemctl enable kibana.service
netstat -antp | grep 5601

4、验证Kibana

浏览器访问http://192.168.109.11:5601

5、将 Apache 服务器的日志（访问的、错误的）添加到 Elasticsearch 并通过 Kibana 显示

vim /etc/logstash/conf.d/apache_log.confinput {file{path => "/etc/httpd/logs/access_log"type => "access"start_position => "beginning"}file{path => "/etc/httpd/logs/error_log"type => "error"start_position => "beginning"}
}
output {if [type] == "access" {elasticsearch {hosts => ["192.168.109.11:9200"]index => "apache_access-%{+YYYY.MM.dd}"}}if [type] == "error" {elasticsearch {hosts => ["192.168.109.11:9200"]index => "apache_error-%{+YYYY.MM.dd}"}}
}

cd /etc/logstash/conf.d/
/usr/share/logstash/bin/logstash -f apache_log.conf

打开宿主机（192.168.109.13）访问apache页面

浏览器访问 http://192.168.109.11:9100 查看索引是否创建





然后在宿主机上刷新访问，会刷新日志，可以在kibana查看时间

未完待续

精彩内容在后面，后面会讲述如何搭建elk+filebeat+kafka+zooleeper

ELK日志分析系统（二）之ELK搭建部署相关推荐

1. 运维必备——ELK日志分析系统

   目录 一.ELK日志分析系统概述 (1)传统日志服务器的优点与缺点和为什么要使用ELK日志分析系统 (2)ELK日志分析系统日志的分类 (3)ELK日志分析系统的分类 --Elasticsearch: ...

2. ELK日志分析系统（一）之ELK原理

   文章目录 引言 一.ELK简介 1.ELK日志分析系统组成 1.1 Elasticsearch(es) 1.2 Logstash 1.3 Kibana 2.日志处理步骤 二.Elasticsearch ...

3. ELK日志分析系统及相关

   目录 前言 一.ELK概述 1.ELK日志分析系统 2.ELK中日志处理步骤 二.Elasticsearch介绍 1.Elasticsearch的基础核心概念 2.mysql关系型数据库与Elasti ...

4. 理论+实验：ELK日志分析系统

   目录 一.ELK日志分析系统简介 1.1 ELK日志分析系统简介-1 1.2 ELK日志分析系统简介-2 二.Elasticesarch介绍 三.Logstash介绍 四.Kibana介绍 五.部署E ...

5. 搭建ELK日志分析系统详解

   日志分析是运维工程师解决系统故障.发现问题的主要手段.日志包含多种类型,包括程序日志.系统日志以及安全日志等.通过对日志的分析,既可以做到未雨绸缪.预防故障的发生,又可以在故障发生时,寻找蛛丝马迹.快 ...

6. 如何快速搭建一个简易的ELK日志分析系统

   一.ELK简介   ELK就是一款非常优秀的.开源的.用于搭建实时日志分析平台的组件.ELK是Elasticsearch.Logstash和Kiabana这3款开源框架首字母的缩写.通过这三个组件,构 ...

7. 十分钟搭建和使用ELK日志分析系统

   十分钟搭建和使用ELK日志分析系统 为满足研发可视化查看测试环境日志的目的,准备采用EK+filebeat实现日志可视化(ElasticSearch+Kibana+Filebeat).题目为" ...

8. ELK日志分析系统搭建以及springboot日志发送到ELK中

   前言 安装之前服务器必须装了Java环境,我们这里安装的是7.7.0版本,而且7.7.0版本还必须要求jdk11以上.,最好跟我安装的路径保持一致/usr/local/elk,千万不要在root 安装 ...

9. ELK日志分析系统之ELK搭建部署

   文章目录 配置ELK日志分析系统 1.配置elasticsearch环境 2.部署elasticsearch软件 2.1 安装Elasticsearch软件 2.2 加载系统服务 2.3 修改elas ...

最新文章

1. 设置cookie和查找cookie的方法
2. sqlite3数据库的性能问题报告
3. element更改表格表头、行、指定单元格样式
4. 建模:确定服务的边界——《微服务设计》读书笔记
5. 电气与计算机学院院长论坛报告,自动化学院分论坛第十、十一次专家报告会圆满成功...
6. LeetCode简单题目(#118 #119 #121 #122 #125 #136 #141 #155)-8道
7. vue 交互 HTML,Vue 自定义元素交互
8. 写入sql时间_一问SQL优化就无从藏身？那只是你对原理的精髓掌握不深
9. 35.5. array route
10. 个人作业7 第一阶段SCRUM冲刺（九）
11. 吴恩达机器学习视频学习笔记（2）
12. SPICE电路仿真软件介绍
13. MSYS以及MinGW安装
14. 模拟人生java电脑版_模拟人生免费版电脑版
15. 图灵机器人Web API
16. win10修复计算机选项,为你win10系统设置启动时按F10出现修复计算机选项的技巧...
17. 计算机网络放大器的作用,运算放大器工作原理是什么?
18. 英语单词测试词汇量的软件,英语单词词汇量测试小程序!简直不要太准
19. php公众号解决投票刷票,微信公众号投票活动如何防止刷票现象
20. 爬虫07 爬取阿里旅行特价机票

热门文章

1. IoT黑板报0123：三星正式公布Note 7爆炸原因
2. 破坏计算机系统什么罪,破坏计算机信息系统罪的量刑标准是什么
3. 下级域信令网关地址做静态NAT后，上级域无法预览下级域视频
4. 入门级git使用和github注册
5. Camtasia Studio 2023怎么导出mp4格式的视频的详细教程介绍
6. win10更新错误代码0x800700c1的解决方法
7. 微信公众平台错误代码40164的解决方案
8. 【毕设精选】算法类毕设相关系统
9. 如何使用php语言创造出表格,【后端开发】php语言怎么做表格
10. Java TCP 群聊