1、介绍

elk是实时日志分析平台，主要是为开发和运维人员提供实时的日志分析，方便人员更好的了解系统状态和代码问题。

2、elk中的e（elasticsearch）:

（2.1）先安装依赖包，官方文档说明使用java1.8

yum -y install java-1.8.0-openjdk

安装elasticsearch：

tar zvxf elasticsearch-1.7.0.tar.gz

mv elasticsearch-1.7.0 /usr/local/elasticsearch

vim /usr/local/elasticsearch/config

cp elasticsearch.yml elasticsearch.yml.bak

vim elasticsearch.yml（修改）

1
2
3
4
5
6
7
8
9
10
11
12
 cluster.name: elasticsearch
 node.name: syk
 node.master: true
 node.data: true
 index.number_of_shards: 5
 index.number_of_replicas: 1（分片副本）
 path.data: /usr/local/elasticsearch/data
 path.conf: /usr/local/elasticsearch/conf
 path.work: /usr/local/elasticsearch/work
 path.plugins: /usr/local/elasticsearch/plugins
 path.logs: /usr/local/elasticsearch/logs
 bootstrap.mlockall: true （内存）

启动：/usr/local/elasticsearch/bin/elasticsearch -d

netstat -tlnp查看

会有9200与9300的java进程

curl http://192.168.137.50:9200

显示：

1
2
3
4
5
6
7
8
9
10
11
12
13
{
  "status" : 200,
  "name" : "syk",
  "cluster_name" : "elasticsearch",
  "version" : {
    "number" : "1.7.0",
    "build_hash" : "929b9739cae115e73c346cb5f9a6f24ba735a743",
    "build_timestamp" : "2015-07-16T14:31:07Z",
    "build_snapshot" : false,
    "lucene_version" : "4.10.4"
  },
  "tagline" : "You Know, for Search"
}

（2.2）使用官方给的启动脚本：

https://codeload.github.com/elastic/elasticsearch-servicewrapper/zip/master

用rz命令传到服务器上

unzip elasticsearch-servicewrapper-master.zip

mv elasticsearch-servicewrapper-master/service/ /usr/local/elasticsearch/bin/

cd /usr/local/elasticsearch/bin/service

./elasticsearch install(在init.d下自动创建服务脚本)

/etc/init.d/elasticsearch restart

1
2
3
4
5
6
7
curl -XGET 'http://192.168.137.50:9200/_count?pretty' -d '
> {
>      "query":{
>         "match_all":{}
>     }
>  }
> '

会返回：

1
2
3
4
5
6
7
8
{
  "count" : 0,
  "_shards" : {
    "total" : 0,
    "successful" : 0,
    "failed" : 0
  }
}

（2.3）基于rest api的界面(可以增删改差)

安装插件：/usr/local/elasticsearch/bin/plugin -i elasticsearch/marvel/latest （自动安装）

网页访问：http://192.168.137.50:9200/_plugin/marvel

安装集群管理插件

/usr/local/elasticsearch/bin/plugin -i mobz/elasticsearch-head

或者：https://github.com/mobz/elasticsearch-head/archive/master.zip下载下来，rz传到服务器

unzip elasticsearch-head-master.zip

mv elasticsearch-head-master plugins/head

网页访问：http://192.168.137.50:9200/_plugin/head

可以以网页的方式显示你的分片已分片副本。

3、elk中的l（logstash）:

（3.1）安装logstash：

i)、官方提供了yum安装的安装方式：

1、rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch

2、vim /etc/yum.repos.d/logstash.repo

添加：

1
2
3
4
5
6
    [logstash-2.3]
    name=Logstash repository for 2.3.x packages
    baseurl=https://packages.elastic.co/logstash/2.3/centos
    gpgcheck=1
    gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch
    enabled=1

3、yum --enablerepo=logstash-2.3 -y install logstash

ii）、下载tar包安装：

tar zvxf logstash-1.5.3.tar.gz

mv logstash-1.5.3 /usr/local/logstash

（3.2）测试

1
  /usr/local/logstash/bin/logstash -e 'input { stdin{} } output { stdout{codec => rubydebug} }'

输入hehe

显示：

1
2
3
4
5
6
7
8
  Logstash startup completed
  hehe
  {
       "message" => "hehe",
      "@version" => "1",
    "@timestamp" => "2016-08-07T17:46:10.836Z",
          "host" => "web10.syk.com"
   }

这表示正常。

（3.3）写logstash配置文件

注意：

必须input｛｝与output｛｝

写法：符号使用=>

vim /etc/logstash.conf

1
2
3
4
5
6
7
8
9
10
11
   input{
     file {
       path => "/var/log/syk.log"
    }
   }
   output{
     file {
       path => "/tmp/%{+YYYY-MM-dd}.syk.gz"
       gzip => true
     }
   }

启动logstash：/usr/local/logstash/bin/logstash -f /etc/logstash.conf

cd /var/log

cat maillog >> syk.log（追加到syk.log里）

在/tmp下可以看到以日期命名的syk.gz压缩文件

（3.4）使用redis存储logstash：

yum -y install redis（redis放在另外一台服务器上）

vim /etc/redis.conf（修改）

bind 192.168.137.52

在192.168.137.52服务器上也安装logstash

编写配置文件：

vim /etc/logstash.conf

1
2
3
4
5
6
7
8
9
10
11
12
13
14
   input{
     file {
       path => "/var/log/syk.log"
     }
   }
   output{
     redis {
     data_type => "list"
     key => "system-messages"
     host => "192.168.137.52"
     port => "6379"
     db => "1"
     }
   }

启动52服务器的logstash：

/usr/local/logstash/bin/logstash -f /etc/logstash.conf

cd /var/log

cat maillog >> syk.log（追加到syk.log里）

进去redis里查看：

1
2
3
4
 redis-cli -h 192.168.137.52 -p 6379
 select 1
 keys *（可以看到system-messages这个key）
 llen system-messages（可以看大system-messages这个key的长度）

（3.4）将logstash收集的日志信息传到es上

在192.168.137.50的服务器上写logstash配置文件：

vim /etc/logstash.conf

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
   input {
      redis {
      data_type => "list"
      key => "system-messages"
      host => "192.168.137.52"
      port => "6379"
      db => "1"
     }
   }
   output {
     elasticsearch {
     host => "192.168.137.50"
     protocol => "http"
     index => "system-messages-%{+YYYY.MM.dd}"
      }
   }

启动logstash：

1
 /usr/local/logstash/bin/logstash -f /etc/logstash.conf

这时我们去看redis的LLEN system-messages，会发现已经变成了0，这说明数据已经传输到es上了。

网页访问：http://192.168.137.50:9200/_plugin/head/

会多出来一个system-messages-2016.08.07的分片副本

4、elk中的k（kibana）:

（4.1）安装：

解压 mv就行

cd /usr/local/kiabna/config/

vim kibana.yml修改：

1
   elastcsearch: "http://192.168.137.50:9200"

启动：

1
    nohup ./bin/kiban &（默认端口5601）

网页访问：

http://192.168.137.50:5601

相关操作需要配合图片说明，这里暂时不说了。

本文转自 sykmiao 51CTO博客，原文链接：http://blog.51cto.com/syklinux/1836732，如需转载请自行联系原作者

centos6.5下的elk部署相关推荐

  1. Centos6.3下利用open***部署远程×××服务

    Centos6.3下利用open***部署远程×××服务 open***是一款在LINUX网关服务器使用的开源的×××软件,顾名思义,其实就是用来打通一条安全的虚拟专用通道,实现用户远程办公,获取内网 ...

  2. Centos6.3下apache+svn部署web版本同步

    前段时间一直忙项目,所以项目初期的svn服务就一直没来得及更新,今天刚好忙完就将自己之前的配置重新总结了下,供大家参考. svn(subversion)作为一款开源的代码版本管理软件,目前普遍用在项目 ...

  3. CENTOS6.3下zabbix安装部署

    ----------------闲扯---------------- RHCE过的EMAIL已经下来,所以最近闲了就准备把先前的文档更新下. 我更新的内容主要是把自己当时的理解加到配置里,告诉大家我当 ...

  4. 夕阳桥断 Linux(centos6.5)下安装jenkins Jenkins 的前身是 Hudson 是一个可扩展的持续集成引擎。 通俗的来讲，jenkins就是一个可以实现自动化部署的一个插

    夕阳桥断 Linux(centos6.5)下安装jenkins Jenkins 的前身是 Hudson 是一个可扩展的持续集成引擎. 通俗的来讲,jenkins就是一个可以实现自动化部署的一个插件, ...

  5. CentOS6.5_64下 nginx+uwsgi+Python +多站点环境搭建

    本文章为各位介绍一篇关于CentOS6.5_64下 nginx+uwsgi+Python +多站点环境搭建 python web django 框架的例子. 作为一个严谨(其实就是有强迫症)的程序,为 ...

  6. 分布式实时日志分析解决方案 ELK 部署架构

    一.前言 ELK 已经成为目前最流行的集中式日志解决方案,它主要是由Beats.Logstash.Elasticsearch.Kibana等组件组成,来共同完成实时日志的收集,存储,展示等一站式的解决 ...

  7. CentOS 6.3下Apache+SVN部署Web版本同步

    CentOS 6.3下Apache+SVN部署Web版本同步 来自:Linux公社   |  时间:2013-07-06 11:12:31 原文链接: http://www.linuxidc.com/ ...

  8. egret与php相连,JavaScript_Mac OS X 系统下安装和部署Egret引擎开发环境， 概述 Egret基于TypeScript开 - phpStudy...

    Mac OS X 系统下安装和部署Egret引擎开发环境 概述 Egret基于TypeScript开发的,而TypeScript编译工具tsc是基于Node.js开发的.所以在安装过程中,我们先需要对 ...

  9. ELK 部署手册（docker版本）

    ELK 部署手册(docker版本) 说明: elasticsearch.kibana.logstash.filebeat 版本要一致,elasticsearch-head 方便通过浏览器查看elas ...

最新文章

  1. java不同项目加token访问_实战：你用SpringBoot集成JWT来实现一下token验证，可否？...
  2. 数据库-优化-检查慢日志是否开启
  3. PCM复用设备和PDH设备的区别介绍
  4. mysql数据的表分区一
  5. 动态瑜伽 静态瑜伽 初学者_瑜伽与编程有什么关系？
  6. 性能测试之JMeter配置元件【随机变量】
  7. uTools:一个方法“改变”uTools的插件安装/数据目录
  8. 2020年mac上最值得使用的五大录屏软件
  9. origin拟合曲线，并绘制曲线上某一点的切线
  10. c语言装b程序,C语言打造表白和装逼利器：亲爱的让我们相爱在一起，酷炫的梦幻...
  11. GRACE专题--提供一个转换ICGEM网站的gfc文件为mat的代码
  12. if语句与switch语句
  13. C语言模拟实现memcmp函数
  14. matlab绘制加速度曲线,加速度积分得到速度和位移的问题小结
  15. 一体化伺服电机一圈多少脉冲
  16. 画论29 刘道醇《宋朝名画评》
  17. QST青软实训学员学习总结-2020/5/24-STM32
  18. Freeswitch一些高级功能-配置中文语音提示等
  19. 专门画像素图的软件_有哪几种简便的做像素画的软件？
  20. Scratch安装步骤（WINDOWS中）

热门文章

  1. 第一家科创板IPO的AI公司：年净利1.58亿，华为小米背后功臣，北大物理系校友创办...
  2. 自学机器学习，怎么才能找到工作啊？至少要避开十大雷区 | Reddit高热
  3. delete from inner join
  4. sql的执行顺序 （where、groupby、having等）
  5. Hystrix概述(二)
  6. vsftp421问题
  7. linux线程栈溢出与局部变量,Linux下和core说再见之：栈溢出
  8. srm32f4按键蜂鸣器_stm32 用中断实现按键点灯和蜂鸣器鸣叫（固件库版）
  9. npm run buil构建后页面白屏_从Npm Script到Webpack，6种常见的前端构建工具对比
  10. 边缘计算 — 边缘网络