打造高效的运维日志收集与分析平台
0x01 背景
面对与日俱增的日志信息，最传统的日志收集方式已难以满足运维人员的基本需求。So，我们何不利用如今丰富的开源工具来打造一款高效实用的运维日志收集分析平台呢。以下就我们目前尝试在做的运维日志平台进行简要介绍，希望能与各位交流心得经验。
0x02 平台架构
我们并没有采用ELK的架构进行日志收集，而是采用了多款日志收集工具结合的方式，即EKF(K/Z)，
elasticsearch + kafka-zookeeper + Flume + kibana/zabbix。
0x03 简要介绍
针对flume进行适当改写，将Java环境加入到flume程序中，使flume服务启动时即可拥有Java环境，免除在每台主机上还需单独部署jdk的困扰。同时，针对不同日志的不同特点，采取不同的收集方式，规范日志的格式，适当对采集的日志进行压缩，可有效减少日志采集量。
针对kafka-zookeeper集群，尝试采用docker容器的方式进行部署。Docker以实现快速部署而称著，因此，如果要部署较多量的kafka-zookeeper集群，倒不如尝试一下采用docker的部署方式。首先，我们制作一个dockerfile，将dockerfile生成镜像文件，启动后即可使用。在使用docker部署kafka-zookeeper集群的时候，我们也遇到了很多问题。比如较为突出的是端口问题,最后我们采用的是docker容器与宿主机端口映射这样一种较为简单的方式解决的。
将kafka数据写入elasticsearch，我们采用的是自己写的一个中间件程序来实现的。之前原本是想采用第三方插件之类的东西，但发现适合自己的确实是没有，于是乎，同事自己动手写了一个，目前验证来看，效果和性能还是不错的。
针对elasticsearch集群，目前的关注点主要围绕在如何优化上；
此外，我们还将elasticsearch中的数据进行提取，在zabbix上进行展示。目前在zabbix上展示的参数主要是对pv值和http状态码进行统计和监控。
zabbix效果图：
针对运维日志收集与分析平台，要做的还有很多。目前只是刚刚开始，前面还有无数个坑在等着，希望能够打造成真正的日志收集分析平台，简化运维日常工作量，为日常工作提供决策与处理依据。
（by secscorpio）
转载于:https://blog.51cto.com/secscorpio/1722580
打造高效的运维日志收集与分析平台相关推荐
- 运维大数据可视化分析平台来了，枯燥运维数据也可以生动起来
数字时代监控运维系统数据量暴增,指标.日志.代码堆栈.网络数据包等等时间序列数据从每天几百兆采集量膨胀到每天上百GB,上TB.由于故障总是偶发,而监控数据在故障发生回朔时才更有价值. 如何利用这些低价 ...
- ELK+Filebeat+Kafka+ZooKeeper+Grafana大数据日志收集与分析平台
一.ELK与EFK架构 日志主要包括系统日志.应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错误及错误发生的原因.经常分析日志可以了解服务器的负荷,性能安 ...
- 大数据运维实战第十七课 日志收集、分析过滤工具 Logstash应用实战
本课时主要讲解"日志收集.分析过滤工具 Logstash 应用实战". Logstash 介绍与安装 Logstash 是一款轻量级的.开源的日志收集处理框架,它可以方便地把分散的 ...
- 如何防止删库跑路？运维堡垒机高效安全运维设计与实践落地
在刚刚结束的 2020 全球新一代软件工程线上峰会上,有着近七年自动化运维平台研发经验的京东智联云产品架构师任龙涛,分享了<运维堡垒机高效安全运维设计与实践落地>议题.本篇文章将为大家回顾 ...
- 深度学习下运维日志分析的趋势解读与应用实践
云智慧 AIOps 社区是由云智慧发起,针对运维业务场景,提供算法.算力.数据集整体的服务体系及智能运维业务场景的解决方案交流社区.该社区致力于传播 AIOps 技术,旨在与各行业客户.用户.研究者和 ...
- 华为OD机试-运维日志排序
文章目录 题目描述 输入描述 输出描述: 示例 Java 代码实现 题目描述 运维工程师采集到某产品线网运行一天产生的日志n条,现需根据日志时间先后顺序对日志进行排序,日志时间格式为H:M:S.N. ...
- 支付宝客户端架构分析：自动化日志收集及分析
小蚂蚁说: <支付宝客户端架构解析>系列将从支付宝客户端的架构设计方案入手,细分拆解客户端在"容器化框架设计"."网络优化"."性能启动优 ...
- 支付宝客户端架构分析：自动化日志收集及分析 1
小蚂蚁说: <支付宝客户端架构解析>系列将从支付宝客户端的架构设计方案入手,细分拆解客户端在"容器化框架设计"."网络优化"."性能启动优 ...
- 云计算示范项目_瑞松科技基于工业互联网的设备运维及工艺管理云平台成功入选2020年工业互联网试点示范项目...
2020年12月28日,工业和信息化部发布2020年工业互联网试点示范项目名单公示,瑞松科技申报项目<基于工业互联网的设备运维及工艺管理云平台>成功入选试点示范项目平台集成创新应用方向,再 ...
- 虚拟网络运维----基于wireshark报文分析快速过滤(tcp,icmp,http)报文时延
文章目录 虚拟网络运维----基于wireshark报文分析快速过滤(tcp,icmp,http)报文时延 前言 tcp协议高时延报文定位 http协议高时延报文定位 icmp协议高时延报文 虚拟网络 ...
最新文章
- 界面Hello world
- css中background-image背景图片路径设置
- CUDA程序优化技巧
- java serialization/deserialization (序列化对象自描述)
- 我常用的python函数(part1)--内置函数isinstance
- 别傻了，90%的开发者都没有做好它
- 【TensorFlow】TensorFlow从浅入深系列之七 -- 教你使用验证数据集判断模型效果
- 谷歌、DeepMind提出高效Transformer评估基准
- apache的poi中设置Excel的单元格样式（HSSFCellStyle）和表格（HSSFSheet）
- 省控线是什么意思，本科一批以及本科二批省控线是什么意思
- javascript JSON.parse和eval的区别
- OpenCV精进之路（十四）：图像矫正技术深入探讨
- spring boot 打war包部署，打jar包
- JavaScript开发规范要求
- ps去色的10种方法
- 离线身份证OCR识别
- JavaSocket编程的一个简单例子
- 测试日照强度的软件,日照分析软件FastSUN - 飞时达软件
- LGTM,XGBOOST,LIGHTGBM
- 七牛云上传的视频通过外链播放黑屏问题