1.概述

　　今天接着《ElasticSearch实战－日志监控平台》一文来给大家分享后续的学习，在《ElasticSearch实战－日志监控平台》中给大家介绍一个日志监控平台的架构方案，接下来给大家分享如何去搭建部署这样一个平台，给大家做一个入门介绍。下面是今天的分享目录：

搭建部署 Elastic 套件
运行集群
截图预览

　　下面开始今天的内容分享。

2.搭建部署 Elastic 套件

　　搭建 Elastic 套件较为简单，下面我们开始去搭建部署相关套件，首先我们准备必要的环境。

2.1 基础软件

　　大家可以 Elastic 的官方网站下载对应的安装包，地址如下所示：

　　［下载地址］

　　另外，一个基础环境就是需要用到 JDK，ES 集群依赖 JDK，地址如下所示：

　　［下载地址］

2.2 Logstash 部署

　　这里我们将 Logstash 的服务部署在中心节点中，其核心配置文件如下所示：

central.conf

input {redis {host => "10.211.55.18"port => 6379 type => "redis-input"data_type => "list"key => "key_count"}
}
filter {grok {match => ["message", "%{IPORHOST:client} (%{USER:ident}|-) (%{USER:auth}|-) \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:http_version})?|-)\" %{NUMBER:response} %{NUMBER:bytes} \"(%{QS:referrer}|-)\" \"(%{QS:agent}|-)\""]}kv {source => "request"field_split => "&?"value_split => "="}urldecode {all_fields => true}
}output {elasticsearch {cluster => "elasticsearch"codec => "json"protocol => "http"}
}

　　其代理节点，分别部署在日志生产节点之上，核心配置文件如下所示：

shipper.conf

input {file {type => "type_count"path => ["/home/hadoop/dir/portal/t_customer_access.log"]exclude => ["*.gz", "access.log"]}
}output {stdout {}redis {host => "10.211.55.18"port => 6379data_type => "list"key => "key_count"}
}

2.3 Elasticsearch 部署

　　接着，我们部署 ES 集群，配置较为简单，其配置内容如下所示：

elasticsearch.yml

node.name: "node1"

　　这里我只配置了其节点名称信息，集群名称使用默认的，若大家需要配置其他信息可自行处理，需要注意的是，这里在实用 scp 命令分发到其他节点时，需要修改其属性值，保持每个节点的 node.name 值不一样即可。

　　另外，在安装插件 ES 集群的相关插件时，可以使用以下命令：

head 插件

sudo elasticsearch/bin/plugin -install mobz/elasticsearch-head

bigdesk 插件

sudo elasticsearch/bin/plugin -install lukas-vlcek/bigdesk

　　其对应的 Web UI 界面如下图所示：

head插件的界面

bigdesk的界面

　　关于其他的 ES 集群的插件，搭建可以根据实际业务需求进行选择性的安装，这里就不多赘述了。

2.4 Kibana 部署

　　这里我们需要安装一个能够去可视化 ES 集群数据的工具，这里我们选择 Kibana 工具去可视化我们的数据，其安装较为简单，只需配置对应的核心文件即可，配置如下：

kibana.yml

elasticsearch_url: "http://10.211.55.18:9200"

　　这里去可视化 node1 节点 ES 集群中数据。

3.运行集群

　　接着，我们启动整个系统，启动步骤如下所示：

启动 Redis

[hadoop@dn1 ~]$ redis-server &

启动代理节点（分别在其代理节点启动shipper）

bin/logstash agent --verbose --config conf/shipper.conf --log logs/stdout.log &

启动中心服务

bin/logstash agent --verbose --config conf/central.conf --log logs/stdout.log &

启动 ES 集群（分别在 ES 节点启动）

bin/elasticsearch start

启动 Kibana 服务

bin/kibana

4.预览截图

　　这里，我们可以预览收集的日志，日志信息我只抽取了几条，截图如下：

　　我们还可以使用筛选功能，选取我们需要观察的数据结果，这里我们筛选了 IP 和 AppName 属性进行观察，如下图所示：

5.总结

　　这里需要注意的是，若是我们首次启动 Kibana 服务，收集日志信息为空的情况下，在我们创建索引时，Settings 模块下的界面中 Create 按钮会是灰色状态，导致无法创建，这里大家在创建的时候需要保证我们有日志已被收集存储到 ES 集群。如下图，由于我已收集存储日志到 ES 集群，所以按钮呈现绿色状态，供点击创建。如下图所示：

6.结束语

　　这篇博客就和大家分享到这里，如果大家在研究学习的过程当中有什么问题，可以加群进行讨论或发送邮件给我，我会尽我所能为您解答，与君共勉！

联系方式：
邮箱：smartloli.org@gmail.com
Twitter：https://twitter.com/smartloli
QQ群（Hadoop - 交流社区1）：424769183
温馨提示：请大家加群的时候写上加群理由（姓名＋公司/学校），方便管理员审核，谢谢！

热爱生活，享受编程，与君共勉！

本文转自哥不是小萝莉博客园博客，原文链接：http://www.cnblogs.com/smartloli/，如需转载请自行联系原作者

ElasticSearch实战－入门相关推荐

Elasticsearch实战篇——Spring Boot整合ElasticSearch
2019独角兽企业重金招聘Python工程师标准>>> 当前Spring Boot很是流行,包括我自己,也是在用Spring Boot集成其他框架进行项目开发,所以这一节,我们一起来 ...
ElasticSearch第一讲：ElasticSearch从入门到精通
ElasticSearch第一讲:ElasticSearch从入门到精通业内目前来说事实上的一个标准,就是分布式搜索引擎一般大家都用elasticsearch.本文是ElasticSearch第一讲 ...
ElasticSearch实战系列十一: ElasticSearch错误问题解决方案
前言本文主要介绍ElasticSearch在使用过程中出现的各种问题解决思路和办法. ElasticSearch环境安装问题 1,max virtual memory areas vm.max_ma ...
ElasticSearch实战篇 - Spring Boot 整合 ElasticSearch
点击上方 Java后端,选择设为星标优质文章,及时送达作者:冯文议链接:segmentfault.com/a/1190000018625101 当前Spring Boot很是流行,包括我自己, ...
elasticsearch实战三部曲之二：文档操作
本文是<elasticsearch实战三部曲>系列的第二篇,上一篇文章我们动手熟悉了索引相关的基本操作,现在一起来熟悉文档相关的操作: 系列文章链接 <elasticsearch实战 ...
《自然语言处理实战入门》 ---- 总目录
文章大纲前言综论第一部分 :NLP 前置知识开发环境基础技术网络爬虫机器学习必知必会开源库深度学习基础常用资源第二部分:NLP 基础理论序列标注与分词算法词嵌入(分布式 ...
Elasticsearch实战——function_score 查询详解
Elasticsearch实战--function_score 查询详解文章目录 Elasticsearch实战--function_score 查询详解 1. function_score简介 2 ...
彩印图文版《Elasticsearch实战》文档，阿里内部共享，堪称精品
众所周知,ELK是包含但不限于Elasticsearch(简称es). Logstash.Kbana三个开源软件的组成的一个整体.这三个软件合成ELK,是用于数据抽取(Logstash).搜索分析(E ...
Python读取多个excel文件（删除字段、数据格式转换、dataframe多表合并）并写入ElasticSearch实战（自动创建索引、写入ElasticSearch、探索性数据分析）
Python读取多个excel文件(删除字段.数据格式转换.dataframe多表合并)并写入ElasticSearch实战(自动创建索引.写入ElasticSearch.探索性数据分析) 目录

ElasticSearch实战－入门