ELK用于分布式收集,然后elasticsearch用于分析数据,在Kibana中可以查看数据、报表。
目前公司日志数据量暂时不使用elasticsearch集群,只是用的elasticsearch单机模式。

机器环境
以下软件都是基于5.6
elasticsearch+Kibana:172.16.88.56
logstash:172.16.88.99

在每台机器上执行如下操作:

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

vim /etc/yum.repos.d/logstash.repo

[logstash-5.x]
name=Elastic repository for 5.x packages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

172.16.88.56安装elasticsearch Kibana

yum install -y elasticsearch kibana

配置 elasticsearch kibana 对应的配置文件

elasticsearch:/etc/elasticsearch/elasticsearch.yml
kibana:/etc/kibana/kibana.yml

其中:

elasticsearch:

network.host: 172.16.88.56 #服务器IP
http.port: 9200 #对应的端口
path.data: /home/elasticsearch 

说明

network.host 服务器IP。
http.port 对应的端口。
path.data 数据保存的位置。
如果改这个data需要把/var/lib/elasticsearch/* 复制到/home/elasticsearch 目录下
同时注意/home/elasticsearch的权限 elasticsearch:elasticsearch 否则会报错

kibana:

server.port: 5601
server.host: "172.16.88.56"
elasticsearch.url: "http://172.16.88.56:9200"

说明

指定服务器地址与kibana可访问的接口以及搜索引擎的地址与接口

启动 elasticsearch kibana

service elasticsearch start
chkconfig elasticsearch  on
service kibana on
chkconfig kibana on

172.16.88.99安装 logstash

yum install -y logstash

配置 logstash 对应的配置文件

logstash:/etc/logstash/logstash.yml

172.16.88.99安装logstash

logstash:

pipeline.workers: 4
pipeline.output.workers: 2
pipeline.batch.size: 1024 

说明

修改的logstash工作进程数与输出的进程数,以及批处理的数量,依照服务器性能以及filebeat端是否报错进行相应的报错,
如果太小 filebeat总是报超时。

其他的配置比如 连接elasticsearch在后边进行说明。

调试模式下执行:

 /usr/share/logstash/bin/logstash --config.reload.automatic -f /etc/logstash/conf.d #不用停止服务,自动加载配置文件 

生产环境:

service logstash start
chkconfig logstash on

转载于:https://www.cnblogs.com/baolong/p/7815514.html

CentOS7下安装ELK三件套相关推荐

  1. Centos7下使用ELK(Elasticsearch + Logstash + Kibana)搭建日志集中分析平台

    Centos7下使用ELK(Elasticsearch + Logstash + Kibana)搭建日志集中分析平台 日志监控和分析在保障业务稳定运行时,起到了很重要的作用,不过一般情况下日志都分散在 ...

  2. 从0开始CentOS7上安装ELK,实现日志收集

    从0开始CentOS7上安装ELK实现日志收集 1. ELK Stack 简介 2. 组件下载 2.1 安装环境及版本 2.2 下载安装包 3.安装 3.1 ElasticSearch安装 3.1.1 ...

  3. Centos7下安装Docker

    Centos7下安装Docker(详细的新手装逼教程) 参考: https://www.cnblogs.com/qgc1995/archive/2018/08/29/9553572.html 早就听说 ...

  4. linux 安装redis2.8.3,centos7下安装Redis2.8版本步骤

    Redis 简介 Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用. Redis不仅仅支持简单的key-value类型的数据,同时还提供list,set,zs ...

  5. linux Centos7下安装python3及pip3

    linux Centos7下安装python3及pip3 先去python官网下载python3安装包 执行命令: wget https://www.python.org/ftp/python/3.6 ...

  6. 学习笔记(1)centos7 下安装nginx

    学习笔记(1)centos7 下安装nginx 这里我是通过来自nginx.org的nginx软件包进行安装的. 1.首先为centos设置添加nginx的yum存储库 1.通过vi命令创建一个rep ...

  7. centos7下安装mariadb

    centos7下安装mariadb 参考: http://www.cnblogs.com/Netsharp/p/5875474.html https://downloads.mariadb.org/m ...

  8. CentOS7下安装nginx1.99

    文章目录 1.前期准备 1.1 安装gcc 1.2 安装其他依赖包 1.3 下载安装包 2.安装nginx 2.1 解压nginx 2.2 编译安装 2.3 启动 2.4 常用命令 3.Nginx配置 ...

  9. CentOS7下安装GUI图形界面

    1.如何在centOS7下安装GUI图形界面 当你安装centOS7服务器版本的时候,系统默认是不会安装GUI的图形界面程序,这个需要手动安装CentOS7 Gnome GUI包. 2.在系统下使用命 ...

最新文章

  1. 从MEMS专利数量分析我国MEMS传感器产业现状
  2. Modelsim仿真时不能编译`include文件解决办法
  3. 程序员的灯下黑:不要忘记你的目标
  4. 机器学习(MACHINE LEARNING)MATLAB非线性曲线拟合方法
  5. 《POSIX多线程程序设计》读书笔记
  6. ajax 加载partial view ,并且 附加validate验证
  7. ML一:python的KNN算法
  8. 软件测试基础:MantisBT的安装配置及使用——BUG管理工具
  9. 1NF 2NF 3NF BCNF
  10. 领导合影站位图_领导主席台座次安排图解:政务礼仪
  11. 深入理解Kube-APIServer
  12. 游戏中要遵守道德规范吗?谈《荒野大镖客2》道德体验设计的意义
  13. 安装丰巢价格是多少_马桶后方1㎡好几万你不在意,丰巢涨价5毛钱你却斤斤计较...
  14. 让PPT变高级的方法,PPT小白们快来学
  15. iPhone自动设置工作日和节假日闹钟
  16. php 字符串属性,php判断字符以及字符串的包含方法属性
  17. IGES格式文件举例
  18. 一、STM32简介、选型及其目标
  19. Python的reduce
  20. Linux系统下如何隐藏自己的进程?

热门文章

  1. The source attachment does not contain the source for the file Activity.class
  2. DataGrid分页使用小结
  3. 【BDTC 2015】深度学习分论坛:DL的图像识别、语音识别应用进展及MxNet开源框架设计
  4. 学生时代的最后一个新年,请一定要做这五件事...
  5. 学习笔记CB006:依存句法、LTP、n元语法模型、N-最短路径分词法、由字构词分词法、图论、概率论...
  6. ubuntu上面安装nodejs,npm,bower,grunt,yeoman
  7. Hadoop2.6.0的FileInputFormat的任务切分原理分析(即如何控制FileInputFormat的map任务数量)...
  8. Spring 入门知识点笔记整理
  9. SAP System Copy Guide, ECC 6.0, Oracle
  10. 如何验证自己的网络是否支持ipv6