原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://467754239.blog.51cto.com/4878013/1700828

大纲：

一、简介

二、Logstash

三、Redis

四、Elasticsearch

五、Kinaba

一、简介

1、核心组成

ELK由Elasticsearch、Logstash和Kibana三部分组件组成；

Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

Logstash是一个完全开源的工具，它可以对你的日志进行收集、分析，并将其存储供以后使用

kibana 是一个开源和免费的工具，它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

2、四大组件

Logstash: logstash server端用来搜集日志；

Elasticsearch: 存储各类日志；

Kibana: web化接口用作查寻和可视化日志；

Logstash Forwarder: logstash client端用来通过lumberjack 网络协议发送日志到logstash server；

3、ELK工作流程

在需要收集日志的所有服务上部署logstash，作为logstash agent（logstash shipper）用于监控并过滤收集日志，将过滤后的内容发送到Redis，然后logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch，可以用ElasticSearch进行自定义搜索通过Kibana 来结合自定义搜索进行页面展示。

4、ELK的帮助手册

ELK官网：https://www.elastic.co/

ELK官网文档：https://www.elastic.co/guide/index.html

ELK中文手册：http://kibana.logstash.es/content/elasticsearch/monitor/logging.html

注释

ELK有两种安装方式

(1)集成环境：Logstash有一个集成包，里面包括了其全套的三个组件；也就是安装一个集成包。

(2)独立环境：三个组件分别单独安装、运行、各司其职。(比较常用)

本实验也以第二种方式独立环境来进行演示；单机版主机地址为：192.168.1.104

二、Logstash

1、安装jdk

1
2
3
4
5
6
Logstash的运行依赖于Java运行环境。
# yum -y install java-1.8.0
# java -version
openjdk version "1.8.0_51"
OpenJDK Runtime Environment (build 1.8.0_51-b16)
OpenJDK 64-Bit Server VM (build 25.51-b03, mixed mode)

2、安装logstash

1
2
3
4
5
6
# wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz
# tar zxf logstash-1.5.4.tar.gz -C /usr/local/
配置logstash的环境变量
# echo "export PATH=\$PATH:/usr/local/logstash-1.5.4/bin" > /etc/profile.d/logstash.sh
# . /etc/profile

3、logstash常用参数

1
2
-e :指定logstash的配置信息，可以用于快速测试;
-f :指定logstash的配置文件；可以用于生产环境;

4、启动logstash

4.1 通过-e参数指定logstash的配置信息，用于快速测试，直接输出到屏幕。

1
2
3
4
5
# logstash -e "input {stdin{}} output {stdout{}}"            
my name is zhengyansheng.    //手动输入后回车，等待10秒后会有返回结果
Logstash startup completed
2015-10-08T13:55:50.660Z 0.0.0.0 my name is zhengyansheng.
这种输出是直接原封不动的返回...

4.2 通过-e参数指定logstash的配置信息，用于快速测试，以json格式输出到屏幕。

1
2
3
4
5
6
7
8
9
10
# logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'
my name is zhengyansheng.    //手动输入后回车，等待10秒后会有返回结果
Logstash startup completed
{
       "message" => "my name is zhengyansheng.",
      "@version" => "1",
    "@timestamp" => "2015-10-08T13:57:31.851Z",
          "host" => "0.0.0.0"
}
这种输出是以json格式的返回...

5、logstash以配置文件方式启动

5.1 输出信息到屏幕

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# vim logstash-simple.conf 
input { stdin {} }
output {
   stdout { codec=> rubydebug }
}
# logstash -f logstash-simple.conf    //普通方式启动
Logstash startup completed
# logstash agent -f logstash-simple.conf --verbose //开启debug模式
Pipeline started {:level=>:info}
Logstash startup completed
hello world.    //手动输入hello world.
{
       "message" => "hello world.",
      "@version" => "1",
    "@timestamp" => "2015-10-08T14:01:43.724Z",
          "host" => "0.0.0.0"
}
效果同命令行配置参数一样...

5.2 logstash输出信息存储到redis数据库中

刚才我们是将信息直接显示在屏幕上了，现在我们将logstash的输出信息保存到redis数据库中,如下

1
2
3
4
5
6
7
8
9
10
11
12
13
前提是本地(192.168.1.104)有redis数据库，那么下一步我们就是安装redis数据库.
# cat logstash_to_redis.conf
input { stdin { } }
output {
    stdout { codec => rubydebug }
    redis {
        host => '192.168.1.104'
        data_type => 'list'
        key => 'logstash:redis'
    }
}
如果提示Failed to send event to Redis，表示连接Redis失败或者没有安装，请检查...

6、 查看logstash的监听端口号

1
2
3
# logstash agent -f logstash_to_redis.conf --verbose
# netstat -tnlp |grep java
tcp        0      0 :::9301                     :::*                        LISTEN      1326/java

三、Redis

1、安装Redis

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
wget http://download.redis.io/releases/redis-2.8.19.tar.gz
yum install tcl -y
tar zxf redis-2.8.19.tar.gz
cd redis-2.8.19
make MALLOC=libc
make test    //这一步时间会稍久点...
make install
cd utils/
./install_server.sh     //脚本执行后，所有选项都以默认参数为准即可
Welcome to the redis service installer
This script will help you easily set up a running redis server
Please select the redis port for this instance: [6379] 
Selecting default: 6379
Please select the redis config file name [/etc/redis/6379.conf] 
Selected default - /etc/redis/6379.conf
Please select the redis log file name [/var/log/redis_6379.log] 
Selected default - /var/log/redis_6379.log
Please select the data directory for this instance [/var/lib/redis/6379] 
Selected default - /var/lib/redis/6379
Please select the redis executable path [/usr/local/bin/redis-server] 
Selected config:
Port           : 6379
Config file    : /etc/redis/6379.conf
Log file       : /var/log/redis_6379.log
Data dir       : /var/lib/redis/6379
Executable     : /usr/local/bin/redis-server
Cli Executable : /usr/local/bin/redis-cli
Is this ok? Then press ENTER to go on or Ctrl-C to abort.
Copied /tmp/6379.conf => /etc/init.d/redis_6379
Installing service...
Successfully added to chkconfig!
Successfully added to runlevels 345!
Starting Redis server...
Installation successful!

2、查看redis的监控端口

1
2
3
4
# netstat -tnlp |grep redis
tcp        0      0 0.0.0.0:6379                0.0.0.0:*                   LISTEN      3843/redis-server * 
tcp        0      0 127.0.0.1:21365             0.0.0.0:*                   LISTEN      2290/src/redis-serv 
tcp        0      0 :::6379                     :::*                        LISTEN      3843/redis-server *

3、测试redis是否正常工作

1
2
3
4
5
6
7
8
9
# cd redis-2.8.19/src/
# ./redis-cli -h 192.168.1.104 -p 6379 //连接redis
192.168.1.104:6379> ping
PONG
192.168.1.104:6379> set name zhengyansheng
OK
192.168.1.104:6379> get name
"zhengyansheng"
192.168.1.104:6379> quit

4、redis服务启动命令

1
2
# ps -ef |grep redis
root      3963     1  0 08:42 ?        00:00:00 /usr/local/bin/redis-server *:6379

5、redis的动态监控

1
2
# cd redis-2.8.19/src/
# ./redis-cli monitor     //reids动态监控

6、logstash结合redis工作

6.1 首先确认redis服务是启动的

1
2
3
4
# netstat -tnlp |grep redis
tcp        0      0 0.0.0.0:6379                0.0.0.0:*                   LISTEN      3843/redis-server * 
tcp        0      0 127.0.0.1:21365             0.0.0.0:*                   LISTEN      2290/src/redis-serv 
tcp        0      0 :::6379                     :::*                        LISTEN      3843/redis-server *

6.2 启动redis动态监控

1
2
3
# cd redis-2.8.19/src/
# ./redis-cli monitor
OK

6.3 基于入口redis启动logstash

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# cat logstash_to_redis.conf
input { stdin { } }
output {
    stdout { codec => rubydebug }
    redis {
        host => '192.168.1.104'
        data_type => 'list'
        key => 'logstash:redis'
    }
}
# logstash agent -f logstash_to_redis.conf --verbose
Pipeline started {:level=>:info}
Logstash startup completed
dajihao linux
{
       "message" => "dajihao linux",
      "@version" => "1",
    "@timestamp" => "2015-10-08T14:42:07.550Z",
          "host" => "0.0.0.0"
}

6.4 查看redis的监控接口上的输出

1
2
3
4
5
# ./redis-cli monitor
OK
1444315328.103928 [0 192.168.1.104:56211] "rpush" "logstash:redis" "{\"message\":\"dajihao linux\",\"@version\":\"1\",\"@timestamp\":\"2015-10-08T14:42:07.550Z\",\"host\":\"0.0.0.0\"}"
如果redis的监控上也有以上信息输出，表明logstash和redis的结合是正常的。

四、Elasticsearch

1、安装Elasticsearch

1
2
# wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.2.tar.gz
# tar zxf elasticsearch-1.7.2.tar.gz -C /usr/local/

2、修改elasticsearch配置文件elasticsearch.yml并且做以下修改.

1
2
3
4
5
# vim /usr/local/elasticsearch-1.7.2/config/elasticsearch.yml
discovery.zen.ping.multicast.enabled: false        #关闭广播，如果局域网有机器开9300 端口，服务会启动不了
network.host: 192.168.1.104    #指定主机地址，其实是可选的，但是最好指定因为后面跟kibana集成的时候会报http连接出错（直观体现好像是监听了:::9200 而不是0.0.0.0:9200）
http.cors.allow-origin: "/.*/"
http.cors.enabled: true        #这2项都是解决跟kibana集成的问题，错误体现是 你的 elasticsearch 版本过低，其实不是

3、启动elasticsearch服务

1
2
3
# /usr/local/elasticsearch-1.7.2/bin/elasticsearch     #日志会输出到stdout
# /usr/local/elasticsearch-1.7.2/bin/elasticsearch -d #表示以daemon的方式启动
# nohup /usr/local/elasticsearch-1.7.2/bin/elasticsearch > /var/log/logstash.log 2>&1 &

4、查看elasticsearch的监听端口

1
2
3
# netstat -tnlp |grep java
tcp        0      0 :::9200                     :::*                        LISTEN      7407/java           
tcp        0      0 :::9300                     :::*                        LISTEN      7407/java

5、elasticsearch和logstash结合

1
2
3
4
5
6
7
将logstash的信息输出到elasticsearch中
# cat logstash-elasticsearch.conf 
input { stdin {} }
output {
    elasticsearch { host => "192.168.1.104" }    
    stdout { codec=> rubydebug }
}

6、基于配置文件启动logstash

1
2
3
4
5
6
7
8
9
10
# /usr/local/logstash-1.5.4/bin/logstash agent -f logstash-elasticsearch.conf
Pipeline started {:level=>:info}
Logstash startup completed
python linux java c++    //手动输入
{
       "message" => "python linux java c++",
      "@version" => "1",
    "@timestamp" => "2015-10-08T14:51:56.899Z",
          "host" => "0.0.0.0"
}

7、curl命令发送请求来查看elasticsearch是否接收到了数据

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
# curl http://localhost:9200/_search?pretty
{
  "took" : 28,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 1,
    "max_score" : 1.0,
    "hits" : [ {
      "_index" : "logstash-2015.10.08",
      "_type" : "logs",
      "_id" : "AVBH7-6MOwimSJSPcXjb",
      "_score" : 1.0,
      "_source":{"message":"python linux java c++","@version":"1","@timestamp":"2015-10-08T14:51:56.899Z","host":"0.0.0.0"}
    } ]
  }
}

8、安装elasticsearch插件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
#Elasticsearch-kopf插件可以查询Elasticsearch中的数据，安装elasticsearch-kopf，只要在你安装Elasticsearch的目录中执行以下命令即可：
# cd /usr/local/elasticsearch-1.7.2/bin/
# ./plugin install lmenezes/elasticsearch-kopf
-> Installing lmenezes/elasticsearch-kopf...
Trying https://github.com/lmenezes/elasticsearch-kopf/archive/master.zip...
Downloading .............................................................................................
Installed lmenezes/elasticsearch-kopf into /usr/local/elasticsearch-1.7.2/plugins/kopf
执行插件安装后会提示失败，很有可能是网络等情况...
-> Installing lmenezes/elasticsearch-kopf...
Trying https://github.com/lmenezes/elasticsearch-kopf/archive/master.zip...
Failed to install lmenezes/elasticsearch-kopf, reason: failed to download out of all possible locations..., use --verbose to get detailed information
解决办法就是手动下载该软件，不通过插件安装命令...
cd /usr/local/elasticsearch-1.7.2/plugins
wget https://github.com/lmenezes/elasticsearch-kopf/archive/master.zip
unzip master.zip
mv elasticsearch-kopf-master kopf
以上操作就完全等价于插件的安装命令

9、浏览器访问kopf页面访问elasticsearch保存的数据

1
2
3
4
# netstat -tnlp |grep java
tcp        0      0 :::9200                     :::*                        LISTEN      7969/java           
tcp        0      0 :::9300                     :::*                        LISTEN      7969/java           
tcp        0      0 :::9301                     :::*                        LISTEN      8015/java

10、从redis数据库中读取然后输出到elasticsearch中

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
# cat logstash-redis.conf
input {
    redis {
        host => '192.168.1.104'  # 我方便测试没有指定password，最好指定password
        data_type => 'list'
        port => "6379"
        key => 'logstash:redis' #自定义
        type => 'redis-input'   #自定义
    }
}
output {
    elasticsearch {
        host => "192.168.1.104"
        codec => "json"
        protocol => "http"  #版本1.0+ 必须指定协议http
    }
}

五、Kinaba

1、安装Kinaba

1
2
# wget https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz
# tar zxf kibana-4.1.2-linux-x64.tar.gz -C /usr/local

2、修改kinaba配置文件kinaba.yml

1
2
# vim /usr/local/kibana-4.1.2-linux-x64/config/kibana.yml
elasticsearch_url: "http://192.168.1.104:9200"

3、启动kinaba

1
2
3
4
5
6
/usr/local/kibana-4.1.2-linux-x64/bin/kibana
输出以下信息，表明kinaba成功.
{"name":"Kibana","hostname":"localhost.localdomain","pid":1943,"level":30,"msg":"No existing kibana index found","time":"2015-10-08T00:39:21.617Z","v":0}
{"name":"Kibana","hostname":"localhost.localdomain","pid":1943,"level":30,"msg":"Listening on 0.0.0.0:5601","time":"2015-10-08T00:39:21.637Z","v":0}
kinaba默认监听在本地的5601端口上

4、浏览器访问kinaba

4.1 使用默认的logstash-*的索引名称，并且是基于时间的，点击“Create”即可。

4.2 看到如下界面说明索引创建完成。

4.3 点击“Discover”，可以搜索和浏览Elasticsearch中的数据。

>>>结束<<<

1
2
3
4
5
6
7
8
9
10
11
12
13
1、ELK默认端口号
elasticsearch：9200 9300
logstash     : 9301
kinaba       : 5601
2、错误汇总
(1)java版本过低
[2015-10-07 18:39:18.071]  WARN -- Concurrent: [DEPRECATED] Java 7 is deprecated, please use Java 8.
(2)Kibana提示Elasticsearch版本过低...
This version of Kibana requires Elasticsearch 2.0.0 or higher on all nodes. I found the following incompatible nodes in your cluster: 
Elasticsearch v1.7.2 @ inet[/192.168.1.104:9200] (127.0.0.1)
解决办法：

软件包以打包上传：http://pan.baidu.com/s/1hqfeFvY

本文出自 “郑彦生” 博客，请务必保留此出处http://467754239.blog.51cto.com/4878013/1700828

转载于:https://www.cnblogs.com/wangtao1993/p/5977714.html

ELK日志分析系统（转）相关推荐

  1. 十分钟搭建和使用ELK日志分析系统

    十分钟搭建和使用ELK日志分析系统 为满足研发可视化查看测试环境日志的目的,准备采用EK+filebeat实现日志可视化(ElasticSearch+Kibana+Filebeat).题目为" ...

  2. ELK日志分析系统搭建以及springboot日志发送到ELK中

    前言 安装之前服务器必须装了Java环境,我们这里安装的是7.7.0版本,而且7.7.0版本还必须要求jdk11以上.,最好跟我安装的路径保持一致/usr/local/elk,千万不要在root 安装 ...

  3. ELK日志分析系统 超详细！！理论+实操讲解！！

    文章目录 一.ELK日志分析系统简介 1.1日志处理的步骤 1.2 ELK日志分析系统三部分 1.3日志服务器(一般) 二.Elasticsearch介绍 2.1 Elasticsearch概述 2. ...

  4. 搭建ELK日志分析系统详解

    日志分析是运维工程师解决系统故障.发现问题的主要手段.日志包含多种类型,包括程序日志.系统日志以及安全日志等.通过对日志的分析,既可以做到未雨绸缪.预防故障的发生,又可以在故障发生时,寻找蛛丝马迹.快 ...

  5. ELK 日志分析系统和部署

    目录 前言 一.日志分析 1.1  我们需要收集哪些日志 1.2  日志收集后,如何展示(可视化) 1.3   日志收集展示出来后,怎么使用 1.4  我们要怎么收集日志 二.ELK 日志分析系统简介 ...

  6. ELK日志分析系统及相关

    目录 前言 一.ELK概述 1.ELK日志分析系统 2.ELK中日志处理步骤 二.Elasticsearch介绍 1.Elasticsearch的基础核心概念 2.mysql关系型数据库与Elasti ...

  7. ELK日志分析系统（企业级查看日志系统）

    一. ELK日志分析系统简介 ELK平台是一套完整的日志集中处理解决方案,将ElasticSearch.Logstash 和 Kiabana 三个开源工具配合使用, 完成更强大的用户对日志的查询.排序 ...

  8. 运维必备——ELK日志分析系统

    目录 一.ELK日志分析系统概述 (1)传统日志服务器的优点与缺点和为什么要使用ELK日志分析系统 (2)ELK日志分析系统日志的分类 (3)ELK日志分析系统的分类 --Elasticsearch: ...

  9. 超详细 ELK 日志分析系统

    文章目录 一.ELK日志分析系统简介 1:ELK日志分析系统组成 2:日志处理步骤 二:三款软件简介 1:Elasticsearch (1)Elasticsearch的概述 (2)Elasticsea ...

  10. ELK 日志分析系统的部署

    文章目录 一.ELK前言 1.1 需要收集的日志 1.2 日志收集后,如何可视化 1.3 日志收集可视化后,怎么使用 1.4 要怎么收集日志 二.ELK简介 2.1 ElasticSearch介绍 2 ...

最新文章

  1. Express.js 中的 Sessions 如何工作？(译)
  2. WEB开发中的会话控制
  3. matlab RBF 神经网络拟合
  4. android 对for循环进行优化
  5. 编码引出的问题_FileReader读取GBK格式的文件
  6. 词嵌入应用_神经词嵌入的法律应用
  7. java字符串为空抛出异常_Java 判断字符串是否为空的四种方法，及效率比较。
  8. 网易容器云平台的微服务化实践
  9. 关于 MRC 开发中的一些细节
  10. paip.navicat form mysql导入文本文件时CPU占用100%的解决
  11. uCOSIII 实时操作系统(一) - 简介
  12. def在python中什么意思_《python中的def是什么意思》
  13. 淘宝直播数据丨食品行业研究报告2021年第一季度
  14. Samtools说明文档网址变更
  15. 无线传感网络——串口通信
  16. 【deepin 20.1】终端的介绍
  17. 40亿！神州收购宝沃汽车67%股权
  18. 【Linux】centos7安装mysql报错：error: Failed dependencies: MySQL-client ＜ 5.7.38-1.el7 is obsoleted by mys
  19. 怎么用ChemDraw加反应条件
  20. 2043 Problem F 小白鼠排队

热门文章

  1. c语言让数组地址对齐,C语言实现比特位数组在目标空间左右居中对齐三种方式...
  2. 【论文阅读】A Gentle Introduction to Graph Neural Networks [图神经网络入门]（5）
  3. 涉密服务器虚拟化软件,虚拟化软件解决方案
  4. 【图像超分辨率】MSAN:Scene-Adaptive RS Img SR a Multiscale Attention
  5. 『设计模式』职责链模式(Chain of Responsibility) 可怜的加薪、请假之路
  6. 数学--数论--HDU 12151七夕节 Plus （因子和线性筛）
  7. 数学--数论--POJ281（线性同余方程）
  8. 疯子的算法总结(九) 图论中的矩阵应用 Part 1 POJ3613 Cow Relays
  9. Nginx+Tomcat+Memcached实现tomcat集群和session共享
  10. 人口预测和阻尼-增长模型_使用分类模型预测利率-第2部分