这里写目录标题

一、ELK日志分析系统
- 1、日志服务器
- 2、日志处理步骤
二、Elasticsearch概述
- 1、Elasticsearch特性
三、LogStash概述
- 1、LogStash主要组件
四、Kibana概述
- 1、Kibana主要功能
五、部署ELK日志分析系统
- 1、配置elasticsearch环境
- 2、部署elasticsearch软件
- 3、安装elasticsearch-head插件
- 4、安装logstash
- 5、安装kibana

一、ELK日志分析系统

ELK有三部分组成
E：Elasticsearch
L：Logstash
K：Kibana

1、日志服务器

优点
提高安全性
集中化管理
缺点
对日志分析困难

2、日志处理步骤

1、将日志进行集中化管理

2、将日志格式化（Logstash）并输出到Elasticsearch

3、对格式化后的数据进行索引和存储（Elasticsearch）

4、前端数据的展示（Kibana）

二、Elasticsearch概述

提供了一个分布式多用户能力的全文搜索引擎

1、Elasticsearch特性

接近实时
集群
节点
索引
索引（库）→类型（表）→文档（记录）
分片和副本
实际情况下，索引存储的数据可能超过单个节点的硬件限制，如一个10亿文档需1TB空间可能不适合存储在单个节点的磁盘上，或者从单个节点搜索请求太慢了，为了解决这个问题，elasticsearch提供将索引分成多个分片的功能，当在创建索引时，可以定义想要分片的数量。每个分片就是一个全功能的独立索引，可以位于集群中任何节点上。

分片：
1、水平分割扩展，增大存储量
2、分布式并行跨分片操作，提供性能和吞吐量

分布式分片的机制和搜索请求的文档如何汇总完全是有elasticsearch控制的，这些对用户而言是透明的

网络问题等等其他问题可以在任何时候不期而至，为了健壮性，强烈建议要有个故障切换机制，无论何种故障以防止分片或者节点不可用，为此，elasticsearch让我们将索引分片复制一份或多份，称为分片副本或副本

副本：
1、高可用性，以应对分片或者节点故障，出于这个原因，分片副本要在不同的节点上
2、性能加强，增加吞吐量，搜索可以并行在所有副本上执行

三、LogStash概述

一款强大的数据处理工具
可实现数据传输、格式处理、格式化输出
数据输入、数据加工（如过滤，改写等）以及数据输出

由三个组件组成：Input、Output、Filter Plugin

Input：获取日志
Output：输出日志
Filter Plugin：过滤日志、格式处理

1、LogStash主要组件

Shipper
Indexer
Broker
Search and Storage
Web Interface

四、Kibana概述

一个针对Elasticsearch的开源分析及可视化平台
搜索、查看存储在Elasticsearch索引中的数据
通过各种图表进行高级数据分析及展示

1、Kibana主要功能

Elasticsearch无缝之集成
整合数据，复杂数据分析
让更多团队成员收益
接口灵活，分享更容易
配置简单、可视化多数据源
简单数据导出

五、部署ELK日志分析系统

1、配置elasticsearch环境

2、部署elasticsearch软件

（1）安装elasticsearch—rpm包

（2）加载系统服务

（3）更改elasticsearch主配置文件

检验配置

（4）创建数据存放路径并授权

（6）查看节点信息

（7）检验集群健康状态

3、安装elasticsearch-head插件

安装elasticsearch-head插件，用于管理集群
（1）编译安装node组件依赖包

（2）安装phantomjs（前端框架）

（3）安装elasticsearch-head（数据可视化工具）

（4）修改主配置文件
vim /etc/elasticsearch/elasticsearch.yml

（5）启动elasticsearch-head

（6）使用elasticsearch-head插件查看集群状态

（7）创建索引

打开浏览器输入地址，查看索引信息

4、安装logstash

（1）安装Apahce服务（httpd）

（2）安装Java环境

（3）安装logstash

（4）测试logstash命令
字段描述解释：
-f 通过这个选项可以指定logstash的配置文件，根据配置文件配置logstash
-e 后面跟着字符串该字符串可以被当做logstash的配置（如果是” ”,则默认使用stdin做为输入、stdout作为输出）
-t 测试配置文件是否正确，然后退出

使用rubydebug显示详细输出，codec为一种编解码器

使用 Logstash 将信息写入 Elasticsearch 中

查看索引信息

（5）在Apache主机上做对接配置

查看索引信息

5、安装kibana

首次登录创建一个索引名字：system-* （这是对接系统日志文件）
然后点最下面的出面的create 按钮创建

（6）对接Apache主机的Apache 日志文件（访问日志、错误日志）

ELK日志分析系统概述及部署相关推荐

ELK 日志分析系统和部署
目录前言一.日志分析 1.1 我们需要收集哪些日志 1.2 日志收集后,如何展示(可视化) 1.3 日志收集展示出来后,怎么使用 1.4 我们要怎么收集日志二.ELK 日志分析系统简介 ...
ELK日志分析系统介绍及部署
一.ELK日志分析系统简介 1.1 普通日志服务器: 提高安全性集中存放日志缺陷对日志的分析困难 1.2 ELK日志分析系统的组成 Elasticsearch Logstash Kibana 1 ...
ELK 日志分析系统的部署
文章目录一.ELK前言 1.1 需要收集的日志 1.2 日志收集后,如何可视化 1.3 日志收集可视化后,怎么使用 1.4 要怎么收集日志二.ELK简介 2.1 ElasticSearch介绍 2 ...
elk日志分析系统_部署ELK企业内部日志分析系统
部署ELK企业内部日志分析系统一.实验环境二.基本环境部署 1.IP地址配置 2.主机名配置三台节点hosts文件要一致 [root@yichen-els-node1 ~]# cat /etc/h ...
运维必备——ELK日志分析系统
目录一.ELK日志分析系统概述 (1)传统日志服务器的优点与缺点和为什么要使用ELK日志分析系统 (2)ELK日志分析系统日志的分类 (3)ELK日志分析系统的分类 --Elasticsearch: ...
Docker 部署ELK 日志分析
Docker 部署ELK 日志分析 elk集成镜像包名字是 sebp/elk 安装 docke.启动 yum install docke service docker start Docker至少得 ...
超详细部署ELK日志分析系统！每一步骤都有记录！ELK的详细使用！
目录一.ELK简介二.Elasticsearch简介三.Logstash简介四.Kibana简介五.ELK案例部署 5.1 案例环境 5.2 部署elasticsearch 5.3 部署Ap ...
ELK日志分析系统（二）之ELK搭建部署
文章目录引言一.Elasticsearch 集群部署(在Node1上操作) 1.准备环境 2.部署安装Elasticsearch软件 3.配置Elasticsearch主配置文件 4.创建数据存放 ...
ELK日志分析系统之ELK搭建部署
文章目录配置ELK日志分析系统 1.配置elasticsearch环境 2.部署elasticsearch软件 2.1 安装Elasticsearch软件 2.2 加载系统服务 2.3 修改elas ...

ELK日志分析系统概述及部署