ELK日志分析平台之kibana以及借助ELK平台实现网站访问量统计

kibana

Kibana是一个开源的分析与可视化平台，设计出来用于和Elasticsearch一起使用的。你可以用kibana搜索、查看、交互存放在Elasticsearch索引里的数据，使用各种不同的图表、表格、地图等kibana能够很轻易地展示高级数据分析与可视化。

Kibana让我们理解大量数据变得很容易。它简单、基于浏览器的接口使你能快速创建和分享实时展现Elasticsearch查询变化的动态仪表盘。安装Kibana非常快，你可以在几分钟之内安装和开始探索你的Elasticsearch索引数据，不需要写任何代码，没有其他基础软件依赖。

1.安装kibana：

[root@server6 ~]# rpm -ivh kibana-4.5.1-1.x86_64.rpm
Preparing...                ########################################### [100%]1:kibana                 ########################################### [100%]

编辑配置文件：

[root@server6 ~]# cd /opt/kibana/config/
[root@server6 config]# vim kibana.yml

设定：

 15 elasticsearch.url: "http://172.25.17.4:9200"23 kibana.index: ".kibana"

开启服务：

[root@server6 config]# /etc/init.d/kibana start
kibana started
[root@server6 config]# netstat -antlp |grep kibana
[root@server6 config]# netstat -antlp |grep 5601
tcp        0      0 0.0.0.0:5601                0.0.0.0:*                   LISTEN      2105/node

浏览器中访问5601端口：

链接到[apache-]YYYY.MM.DD：

可以查看到apache的访问情况：

功能实现：将来自nginx的数据输出到redis端，redis交给elasticsearch，再由kibana进行显示

在server5端安装redis并开启服务：

[root@server5 ~]# tar zxf redis-3.0.6.tar.gz
[root@server5 ~]# cd redis-3.0.6
[root@server5 redis-3.0.6]# yum install gcc -y
[root@server5 redis-3.0.6]# make
[root@server5 redis-3.0.6]# make install
[root@server5 redis-3.0.6]# cd utils/
[root@server5 utils]# ./install_server.sh

server4端安装nginx：

[root@server4 ~]# rpm -ivh nginx-1.8.0-1.el6.ngx.x86_64.rpm
warning: nginx-1.8.0-1.el6.ngx.x86_64.rpm: Header V4 RSA/SHA1 Signature, key ID 7bd9bf62: NOKEY
Preparing...                ########################################### [100%]1:nginx                  ########################################### [100%]
----------------------------------------------------------------------Thanks for using nginx!Please find the official documentation for nginx here:
* http://nginx.org/en/docs/Commercial subscriptions for nginx are available on:
* http://nginx.com/products/----------------------------------------------------------------------

复制文件：

[root@server4 ~]# cd -
/etc/logstash/conf.d
[root@server4 conf.d]# ls
aaa.conf  es.conf
[root@server4 conf.d]# cp aaa.conf nginx.conf

停掉apache开启nginx,并在浏览器中访问nginx使其生成访问日志:

[root@server4 conf.d]# /etc/init.d/httpd stop
Stopping httpd:                                            [  OK  ]
[root@server4 conf.d]# /etc/init.d/nginx start
Starting nginx:                                            [  OK  ]

给nginx日志权限：

[root@server4 conf.d]# chmod 644 /var/log/nginx/access.log

编辑文件nginx.conf：

[root@server4 conf.d]# vim nginx.conf

内容：

  1 input {2         file {3                 path => "/var/log/nginx/access.log"4                 start_position => "beginning"5         }6 }7 8 filter {9         grok {10                 match => { "message" => "%{COMBINEDAPACHELOG} %{QS:x_forwarded_for}"}11         }12 }13 14 output {15         redis  {16                 host => ["172.25.17.5"]17                 port => 637918                 data_type=> "list"19                 key => "logstash:redis"20         }21         stdout {22                 codec => rubydebug23         }24 }

执行：

[root@server4 conf.d]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/nginx.conf

可以查看到刚才在浏览器中对nginx的访问记录：

在server5端安装logstash：

[root@server5 ~]# rpm -ivh logstash-2.3.3-1.noarch.rpm
Preparing...                ########################################### [100%]1:logstash               ########################################### [100%]

编辑文件es.conf：

[root@server5 ~]# cd /etc/logstash/
[root@server5 logstash]# vim es.conf

文件内容：

  1 input {2         redis  {3             host => ["172.25.17.5"]4                  port => 63795                  data_type=> "list"6                  key => "logstash:redis"7          }8 9 }10 11 output {12         elasticsearch {13                 hosts => ["172.25.17.4"]14                 index => "nginx-%{+YYYY.MM.dd}"15         }16 }

执行：

[root@server5 logstash]# /opt/logstash/bin/logstash -f /etc/logstash/es.conf

在浏览器中添加[nginx-]YYYY.MM.DD：

结果测试：大屏幕显示
添加访问量统计：

选择nginx:

访问量显示：

保存：

添加：

动态测试：

在其他服务器端访问：

[root@server5 ~]# ab -c 1 -n 900 http://172.25.17.4/index.html

结果显示：

ELK日志分析平台之kibana以及借助ELK平台实现网站访问量统计相关推荐

ELK日志分析系统（二）之ELK搭建部署
文章目录引言一.Elasticsearch 集群部署(在Node1上操作) 1.准备环境 2.部署安装Elasticsearch软件 3.配置Elasticsearch主配置文件 4.创建数据存放 ...
ELK日志分析系统（一）之ELK原理
文章目录引言一.ELK简介 1.ELK日志分析系统组成 1.1 Elasticsearch(es) 1.2 Logstash 1.3 Kibana 2.日志处理步骤二.Elasticsearch ...
理论+实验：ELK日志分析系统
目录一.ELK日志分析系统简介 1.1 ELK日志分析系统简介-1 1.2 ELK日志分析系统简介-2 二.Elasticesarch介绍三.Logstash介绍四.Kibana介绍五.部署E ...
ELK日志分析Elasticsearch模块——语法基础CRUD
摘要: ElastICsearch的基本操作:增删改查,有必要了解,以备不时之需. 增删改查是数据库的基础操作方法.ES 虽然不是数据库,但是很多场合下,都被人们当做一个文档型 NoSQL 数据库在使 ...
搭建ELK日志分析平台（下）—— 搭建kibana和logstash服务器
27.6 安装kibana 27.7 安装logstash 27.8 配置logstash 27.9 kibana上查看日志 27.10 收集nginx日志 27.11 使用beats采集日志本文是 ...
ELK日志分析平台.1-搭建
ELK日志分析平台.1-搭建 2017-12-28 | admin 一.简介 1.核心组成 ELK由Elasticsearch.Logstash和Kibana三部分组件组成: Elas ...
搭建ELK日志分析平台（上）—— ELK介绍及搭建 Elasticsearch 分布式集群
笔记内容:搭建ELK日志分析平台(上)-- ELK介绍及搭建 Elasticsearch 分布式集群笔记日期:2018-03-02 27.1 ELK介绍 27.2 ELK安装准备工作 27.3 安装 ...
ELK 日志分析平台 —— Logstash
ELK 日志分析平台 -- Logstash 文章目录 ELK 日志分析平台 -- Logstash Logstash 简介 Logstash的工作原理 [注]:Logstash file插件 sin ...
ELK日志分析平台-Elasticsearch搭建和异常处理
一.介绍 1.1. ELK日志分析平台 (1)不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写. ELK分别代表: Elasticsearch:负责日志检索和储存 Logstash:负责日 ...
企业项目实战---ELK日志分析平台之logstash数据采集（二）
ELK日志分析平台 logstash数据采集 1.logstash简介 2.Logstash安装 3.标准输入到标准输出 4.标准输入到文件 5.标准输入到es主机 6.指定文件输入到es主机 7.s ...

ELK日志分析平台之kibana以及借助ELK平台实现网站访问量统计

kibana

功能实现：将来自nginx的数据输出到redis端，redis交给elasticsearch，再由kibana进行显示

动态测试：

ELK日志分析平台之kibana以及借助ELK平台实现网站访问量统计相关推荐

最新文章

热门文章