日志分析平台ELK部署初学

1）ELK介绍

ELK官方网站：https://www.elastic.co/products

elk-docker 官网：http://elk-docker.readthedocs.org/#installation

日志分析平台ELK由 ElasticSearch 、 Logstash 和 Kiabana 三个开源工具组成。Elasticsearch 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制， restful风格接口，多数据源，自动搜索负载等。Logstash 是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如搜索）。kibana 也是一个开源和免费的工具，Kibana 可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

在需要收集日志的所有服务上部署 logstash ，作为 logstash agent （ logstash shipper ）用于监控并过滤收集日志，将过滤后的内容发送到logstash indexer ， logstash indexer 将日志收集在一起交给全文搜索服务 ElasticSearch ，可以用 ElasticSearch 进行自定义搜索通过 Kibana 来结合自定义搜索进行页面展示。基本原理如下图：

2）JDK部署

Logstash 依赖JDK，部署Ubuntu+jdk+tomcat基本环境。

3）安装Logstash

下载logstash-2.2.2.zip并解压，进入logstash-2.2.2目录。

执行启动：

#bin/logstash-e 'input { stdin { } } output { stdout {} }'

运行后显示如下：

Settings:Default pipeline workers: 8

Logstashstartup completed

logstash按照某种格式输出所输入的内容，其中-e参数允许Logstash直接通过命令行接受设置。

使用CTRL-C命令可以退出之前运行的Logstash。

使用-e参数设置外，还可以创建配置文件并制定logstash使用这个配置文件运行。

在logstash-2.2.2目录下创建test.conf，内容如下：

# vi test.conf

input {stdin { } }

output {

stdout { codec=> rubydebug }

}

Logstash 使用input 和 output 定义收集日志时的输入和输出的相关配置。

使用logstash的-f参数来读取配置文件，并启动。

# bin/logstashagent -f test.conf

运行后显示如下：

Settings:Default pipeline workers: 8

Logstashstartup completed

Helloworld //输入

{

"message" => " Helloworld ",

"@version" => "1",

"@timestamp" =>"2016-04-11T01:27:22.765Z",

"host" =>"ubuntu.202.96.128.86"

}

4）安装Elasticsearch

下载elasticsearch-2.2.1.tar.gz并解压，进入elasticsearch-2.2.1目录。

执行下面命令启动：

#bin/elasticsearch

提示：Exceptionin thread "main" java.lang.RuntimeException: don't run elasticsearchas root.

# adduser elastic //新增用户

# chown –Relastic:elastic /home/elasticsearch-2.2.1 //授权安装目录访问权限

#suelastic //重新运行bin/elasticsearch

远程连接并后台运行命令：

#bin/elasticsearch>nohup &

查看elasticsearch 的 9200 端口是否已监听：

#netstat-anp |grep 9200

在logstash-2.2.2目录下创建test2.conf，内容如下：

input {stdin { } }

output {

elasticsearch { host => "IP"}

stdout { codec=> rubydebug }

}

# bin/logstashagent -f test2.conf

使用curl 命令发送请求来查看 ES 是否接收到了数据：

# curl'http://ip:9200/_search?pretty'

5）安装elasticsearch 插件

Elasticsearch-kopf插件可以查询 Elasticsearch 中的数据，elasticsearch-2.2.1目录执行：

#./plugin-install lmenezes/elasticsearch-kopf

安装完成后在plugins 目录下可以看到 kopf

# lsplugins/

浏览保存在Elasticsearch 中的数据http://IP:9200/_plugin/kopf

6）安装Kibana

下载kibana-4.4.2-linux-x64.tar.gz并解压，进入kibana-4.4.2-linux-x64目录。

启动kibana执行：

#bin/kibana

使用http:// IP:5601 访问 Kibana ，登录后，首先，配置一个索引，默认， Kibana 的数据被指向 Elasticsearch ，使用默认的 logstash-* 的索引名称，并且是基于时间的，点击“ Create ”即可。

索引创建成功后，点击“ Discover ”，可以搜索和浏览 Elasticsearch 中的数据，默认搜索的是最近 15 分钟的数据，可以自定义选择时间。

7）平台测试

将logstash 配置为索引器，并将 logstash 的日志数据存储到 Elasticsearch ，本范例主要是索引本地系统日志。在在logstash-2.2.2目录下创建test3.conf，内容如下：

input {

file {

type =>"syslog"

path => ["/var/log/messages","/var/log/syslog" ]

}

syslog {

type =>"syslog"

port =>"5544"

}

output {

stdout { codec=> rubydebug }

elasticsearch {host => "IP" }

}

启动:

# bin/logstash–f test3.conf

使用echo 命令模拟写入日志：

# echo"`date` test3" >>/var/log/messages

刷新 kibana ，最新的测试数据显示到浏览器中。

日志分析平台ELK部署初学相关推荐

视频教程-【2019精品课】构建ELK海量日志分析平台-ELK
[2019精品课]构建ELK海量日志分析平台 10年一线开发及项目管理经验,6年以上大数据项目架构.实施.开发与运维经验,骨灰级大数据玩家,对Hadoop.Storm.Spark.Flink.Kyli ...
分布式实时日志分析解决方案ELK部署架构
分布式实时日志分析解决方案ELK部署架构参考文章: (1)分布式实时日志分析解决方案ELK部署架构 (2)https://www.cnblogs.com/zhangjianbin/p/7965867 ...
日志分析平台-ELK
日志分析平台-ELK 此次主要是搭建带有redis缓存层的ELK日志分析平台环境: node1:172.16.1.152 node2: 172.16.1.153 一:配置基础环境所有节点关闭se ...
ELK实时日志分析平台环境部署--完整记录
在日常运维工作中,对于系统和业务日志的处理尤为重要.今天,在这里分享一下自己部署的ELK(+Redis)-开源实时日志分析平台的记录过程(仅依据本人的实际操作为例说明,如有误述,敬请指出)~ ==== ...
开源实时日志分析平台—ELK
ELK简介什么是日志日志就是程序产生的,遵循一定格式(通常包含时间戳)的文本数据. 通常日志由服务器生成,输出到不同的文件中,一般会有系统日志. 应用日志.安全日志.这些日志分散地存储在不同的机器 ...
分布式实时日志分析解决方案 ELK 部署架构
一.前言 ELK 已经成为目前最流行的集中式日志解决方案,它主要是由Beats.Logstash.Elasticsearch.Kibana等组件组成,来共同完成实时日志的收集,存储,展示等一站式的解决 ...
搭建可视化日志分析平台ELK
文章目录 ELK是什么为什么要用ELK ELK如何安装搭建 ElasticSearch 安装一.下载Elasticsearch源码二.安装三.Elasticsearch配置四.新增运行Ela ...
ELK学习10_ELK系列--实时日志分析系统ELK 部署与运行中的问题汇总
前记: 去年测试了ELK,今年测试了Storm,最终因为Storm需要过多开发介入而放弃,选择了ELK.感谢互联网上各路大神,目前总算是正常运行了. logstash+elasticsearch+ki ...
编译安装日志分析平台 elk + beats（个人感觉不错1）
这是elk系列的第1篇文章本文主要描述如何安装和配置elk, 并利用beats来取出数据推送到logstash,使之正常提供服务流程图开始之前假设您已经拥有一台内存至少1G的linux计算机或 ...

日志分析平台ELK部署初学

日志分析平台ELK部署初学相关推荐

最新文章

热门文章