主流日志管理解决方案对比

2024-05-08 04:21:04

主流日志管理解决方案对比

https://blog.csdn.net/weixin_44259356/article/details/98638583
目前公司需要一个日志管理系统，参考多方文档，目前主流方案记录如下

1.1使用现有开源解决工具

使用业界解决方案ELK：

其中ELasticsearch负责日志保存和搜索，Logstash负责收集日志，Kibana 负责界面
缺点：
• 运维成本高，每增加一个日志收集，都需要手动修改配置
• 监控缺失，无法准确获取logstash的状态
• 无法做定制化开发以及维护

使用EFK

EFK和ELK只有一个区别，那就是EFK把ELK的Logstash替换成了FileBeat
相对于ELK来说：
• 侵入低，无需修改程序目前任何代码和配置
• 相对于Logstash来说性能高，Logstash对于IO占用很大
FileBeat也并不是完全好过Logstash,Logstash对于日志的格式化这些相对FileBeat好很多，FileBeat只是将日志从日志文件中读取出来，当然如果你日志本身是有一定格式的，FileBeat也可以格式化，但是相对于Logstash来说，还是差。

使用Logtail

相对主流的采集Agent，Logtail在采集功能上有一定的不足，对于输入源、处理方式等支持没有开源软件的多，但从目前的功能来看，可以满足95%以上的日志采集需求。但日志采集并不是能够采集到就可以。相对开源软件，Logtail的优势是有集团百万服务器、上万应用的练兵环境，很多问题纯粹从Agent和开源社区的角度并不会考虑到。因此经历了数年的迭代优化，在性能、稳定性、运维代价上，Logtail相对更加成熟，在性价比上具有绝对的优势。
补充：Logtail极简模式下的性能大约为FileBeat的9倍。10分钟上手，但是服务收费，2019年内可能开源。
附上官网对比图

1.2自行开发一个日志收集系统

优点：
• 定制化的开发和维护
• 运维成本低
• 能够监控本身的运行状态
相对于前两种系统开销最低
缺点：
• 成熟度相对前两种低，可拓展性差
• 需要额外的开发时间
补充：

问题：是否需要数据分析，以及监控等需求。
如果有上述需求推荐使用现有解决方案，综合考虑人力成本和时间成本。如果需求较少，后续拓展也较少，则可以采用自主开发。

主流日志管理解决方案对比相关推荐

9 款主流日志管理工具技术选型，yyds！
点击关注公众号:互联网架构师,后台回复 2T获取2TB学习资源! 上一篇:Alibaba开源内网高并发编程手册.pdf 简介对于日志管理当前网络上提供了大量的日志工具,今天就给大家分析总结一下这些常 ...
9款日志采集和管理工具对比，选型必备！
对于日志管理当前网络上提供了大量的日志工具,今天就给大家分析总结一下这些常用工具的特点,希望对你们在选型时有所帮助. 一.Filebeat Filebeat是用于转发和集中日志数据的轻量级传送程序.作 ...
6个您需要了解的日志管理工具（以及如何使用它们）
如果没有正确的工具来汇总和解析日志数据,则几乎不可能找到并了解您正在寻找的信息. 日志有无穷无尽的用途,因为日志本身是无止境的. 应用程序日志,安全日志,BI日志, 林肯日志 (好吧,也许不是)- 暂 ...
Java程序员须知的七个日志管理工具
本文由 ImportNew - 赖信涛翻译自 takipiblog.欢迎加入翻译小组.转载请见文末要求. Splunk vs. Sumo Logic vs. LogStash vs. GrayLo ...
【笔记】最佳日志管理工具:51个有用的日志管理、监视、分析等工具
最佳日志管理工具:51个有用的日志管理.监视.分析等工具痛苦的纯文本日志管理日子一去不复返了.虽然纯文本数据在某些情况下仍然很有用,但是在进行扩展分析以收集有洞察力的基础设施数据并改进代码质量时,寻 ...
9款日志管理工具大比拼，选型必备！
点击关注公众号,利用碎片时间学习简介对于日志管理当前网络上提供了大量的日志工具,今天就给大家分析总结一下这些常用工具的特点,希望对你们在选型时有所帮助,如果有用记得一键三连. 1.Filebeat ...
tp5记录用户的操作日志_【干货】日志管理与分析（四）日志管理规程
接<日志管理与分析(三)--对日志系统的攻击>,如果你的企业没有认真地对待日志,那么就可以说明你的企业对IT可审核性并不重视,这也就是日志记录成为一种完善的依从性技术,许多法规和法律以及最 ...
这 9款日志管理工具大比拼，选型必备！
大家好,我是不才陈某~ 对于日志管理当前网络上提供了大量的日志工具,今天就给大家分析总结一下这些常用工具的特点,希望对你们在选型时有所帮助,如果有用记得一键三连. 1.Filebeat Filebea ...
华为抓取错误日志在哪里_Java程序员须知的七个日志管理工具，提高排查错误效率...
Java识堂,一个高原创,高收藏,有干货的微信公众号,一起成长,一起进步,欢迎关注 Splunk vs. Sumo Logic vs. LogStash vs. GrayLog vs. Loggly ...

最新文章

热门文章