ELK日志分析系统迁移记录
写在开始
做项目不记录日志?线上的问题永远不会知道何时发生过?只会在出现事故之后身处茫然之中。
阿里云ECS即将到期,由于之前ELK日志分析是在自己的服务器上进行试水,断断续续运行了一年多时间。
今天抽空赶紧把ELK迁移一下,由于Logstash本身就配置于各个系统之中,所以这里只是对Redis、Elasticsearch和Kibana进行了配置,当然还有一些邮件发送的配置。
看了下官网,Elasticsearch和Kibana已经进行了升级,Kibana更新到了版本5,而Elasticsearch也跟随升级到了5。由于系统环境是JDK1.7,而Elasticsearch依赖JDK1.8,同时Kibana又必须依赖Elasticsearch,只能升级作罢,按照原来的迁移。
系统架构
平台优势
为什么要搭建ELK系统?
方便开发或者运维人员统计分析和查询日志信息。
对于错误日志统一处理并发送通知。
相关软件
Logstash-2.1.1
Redis-3.2.8
Elasticsearch-2.4.4
Kibana-4.3.1
Nginx-1.6.2
JDK-1.7
sendmail
迁移说明
配置Redis
- 建议使用内网IP
- 建议修改 默认端口6379
- 配置文件在redis.conf,修改相关的host、IP以及密码
- 启动 ./redis-server /home/tools/redis-3.2.8/redis.conf& #加&实现后台运行
- 测试连接 ./redis-cli -h 127.0.0.1 -p 6379
文档: http://blog.52itstyle.com/archives/590/
配置Elasticsearch
- 版本选择 2.4.4,由于5以上版本要基于JDK1.8以上,所以放弃。
- 禁止使用root启动(自行创建用户),这不是一个好的主意,启动时有警告。
- 建议内网配置通信,不要暴露IP
- 建议修改默认端口9200
- 最后Elasticsearch是从2版本直接跳跃到5版本的,可能是要配置kinbana
启动说明
elasticsearch -h # 查看相关参数
elasticsearch -d # 后台运行
curl -X GET http://127.0.0.1:9200 # 测试是否启动
默认配置下是不允许root用户启动的,危险系数比较高。当然这里也有解决方法,但不建议使用。
编辑bin目录下的elasticsearch 加上ES_JAVA_OPTS属性即可。
ES_JAVA_OPTS="-Des.insecure.allow.root=true"
配置kinbana
- 建议内网配置通信,不要暴露IP,可以通过Nginx做反向代理实现鉴权登陆
- 登陆后,需要等Elasticsearch中有数据才可以创建index
- 启动命令 nohup kibana &
注意:
当输入nohup kibana & 命令后,需要按任意键返回到shell窗口。
退出当前登录窗口用exit命令,不要直接点击窗口上的叉来关闭。
配置邮件发送
- 安装 yum install -y sendmail
- 配置 文件 vi /etc/mail.rc
#参数自行修改
set from=admin@52itstyle.com smtp=smtp.52itstyle.com smtp-auth-user=admin@52itstyle.com smtp-auth-password=123456 set smtp-auth=login
- 启动服务 service sendmail start
- 检测服务 chkconfig --list |grep sendmail
- 测试 mail -s "test" 345849402@qq.com
最后的最后,这些配置一定要配置开机启动。
ELK日志分析系统迁移记录相关推荐
- 超详细部署ELK日志分析系统!每一步骤都有记录!ELK的详细使用!
目录 一.ELK简介 二.Elasticsearch简介 三.Logstash简介 四.Kibana简介 五.ELK案例部署 5.1 案例环境 5.2 部署elasticsearch 5.3 部署Ap ...
- ELK日志分析系统 超详细!!理论+实操讲解!!
文章目录 一.ELK日志分析系统简介 1.1日志处理的步骤 1.2 ELK日志分析系统三部分 1.3日志服务器(一般) 二.Elasticsearch介绍 2.1 Elasticsearch概述 2. ...
- 搭建ELK日志分析系统详解
日志分析是运维工程师解决系统故障.发现问题的主要手段.日志包含多种类型,包括程序日志.系统日志以及安全日志等.通过对日志的分析,既可以做到未雨绸缪.预防故障的发生,又可以在故障发生时,寻找蛛丝马迹.快 ...
- 超详细 ELK 日志分析系统
文章目录 一.ELK日志分析系统简介 1:ELK日志分析系统组成 2:日志处理步骤 二:三款软件简介 1:Elasticsearch (1)Elasticsearch的概述 (2)Elasticsea ...
- ELK日志分析系统(一)之ELK原理
文章目录 引言 一.ELK简介 1.ELK日志分析系统组成 1.1 Elasticsearch(es) 1.2 Logstash 1.3 Kibana 2.日志处理步骤 二.Elasticsearch ...
- 超实用的ELK日志分析系统
文章目录 前言: 一.ELK日志分析系统简介 (一).日志服务器 (二).ELK日志分析系统 补充: (三).日志处理步骤 (四).Elasticsearch 介绍 (五).Logstash介绍 (六 ...
- 理论+实验:ELK日志分析系统
目录 一.ELK日志分析系统简介 1.1 ELK日志分析系统简介-1 1.2 ELK日志分析系统简介-2 二.Elasticesarch介绍 三.Logstash介绍 四.Kibana介绍 五.部署E ...
- 如何快速搭建一个简易的ELK日志分析系统
一.ELK简介 ELK就是一款非常优秀的.开源的.用于搭建实时日志分析平台的组件.ELK是Elasticsearch.Logstash和Kiabana这3款开源框架首字母的缩写.通过这三个组件,构 ...
- 十分钟搭建和使用ELK日志分析系统
十分钟搭建和使用ELK日志分析系统 为满足研发可视化查看测试环境日志的目的,准备采用EK+filebeat实现日志可视化(ElasticSearch+Kibana+Filebeat).题目为" ...
- ELK日志分析系统搭建以及springboot日志发送到ELK中
前言 安装之前服务器必须装了Java环境,我们这里安装的是7.7.0版本,而且7.7.0版本还必须要求jdk11以上.,最好跟我安装的路径保持一致/usr/local/elk,千万不要在root 安装 ...
最新文章
- deepin--更改最低亮度
- hibernate插入数据测试无异常,但数据库没有数据
- 2.2 Consumer API官网剖析(博主推荐)
- 一个封装了的选项卡效果js
- mysql 建库字段_MySQL 的字段类型以及建库策略
- oracle as sydba,Oracle的操作系统认证(/ as sydba 登录方式)
- 并发编程-------操作系统的发展
- Atitti 载入类的几种方法 Class.forName ClassLoader.loadClass 直接new
- 【网络教程】苹果MACCMS10怎样设置伪静态
- 电脑眼病和干眼症的相关知识
- SAP——ABAP报表的一般格式
- Java中怎么打开jsp_jsp文件怎么打开 打开jsp文件的详细步骤【详细介绍】
- 担任电气工程师,在软件开发方面建立成功的职业生涯
- TypeScript的枚举
- 「志强课堂」成功的微商是怎么做好推广引流的?
- Underscore源码阅读极简版入门
- C#使用FFmpeg的总结
- 玩转云网络,这里有一份VMware最强指南
- mysql match against_mysql全文模糊搜索MATCH AGAINST方法
- php 代码 骂人,网页前台通过js非法字符过滤代码(骂人的话等等)_javascript技巧
热门文章
- 工作的思考十:思维的高度决定设计的好坏(小菜的思维)
- qemu前后端features协商过程分析(vhost_user后端)
- 转:C语言中如何将二维数组作为函数的参数传递
- read()/write()的生命旅程之三——第三章:write()
- 1059 Prime Factors (25 分)水
- python语言规范_python语言规范
- linux 重启mysql_Grafana+Prometheus 监控 MySql服务
- spark操作读取hbase实例
- 【论文翻译】Image Super-Resolution Using Deep Convolutional Networks
- python 建筑计算_写给潘石屹的 Python 自学指南