传统ELK分布式日志收集的缺点？
传统ELK图示：
单纯使用ElK实现分布式日志收集缺点？
1、logstash太多了，扩展不好。
如上图这种形式就是一个 tomcat 对应一个 logstash，新增一个节点就得同样的拥有 logstash，可以说很浪费了。
2、读取IO文件，可能会产生日志丢失。
3、不是实时性
比如logstash，底层通过定时器发现数据库发生变化后才去同步，由于是定时则必然出现延迟。
那么既然出现了这些问题，有什么解决方案呢？
安装kafka
kafka是基于发布订阅模式的，类似于生产者与消费者。
一张图搞懂 kafka 的作用：
思考问题：
1. Logstash输入来源有那些？
本地文件、kafka、数据库、mongdb、redis等
2. 那些日志信息需要输入logstash
error级别
3. AOP 异常通知 服务与服务之间如何区分日志索引文件
服务名称
4. 在分布式日志收集中，相同的服务集群的话是不需要区分日志索引文件。
5. 目的为了 统一管理相同节点日志我信息。
6. 相同的服务集群的话，是是不需要区分日志索引文件 搜索日志的时候，如何定位服务器节点信息呢？
未完待续。
传统ELK分布式日志收集的缺点？相关推荐
- ELK分布式日志收集搭建和使用
大型系统分布式日志采集系统ELK 全框架 SpringBootSecurity 1.传统系统日志收集的问题 2.Logstash操作工作原理 3.分布式日志收集ELK原理 4.Elasticsearc ...
- ELK分布式日志收集-企业级日志中心
传统项目中,如果需要在生产环境定位异常的话,我们常常需要在服务器上使用命令的方式查询.而很多情况我们需要用到微服务架构或集群架构,日志被分散在不同的机器上,使得日志的查询变得异常困难.工欲善其事,必先 ...
- kafka 可视化工具_两小时带你轻松实战SpringBoot+kafka+ELK分布式日志收集
一.背景 随着业务复杂度的提升以及微服务的兴起,传统单一项目会被按照业务规则进行垂直拆分,另外为了防止单点故障我们也会将重要的服务模块进行集群部署,通过负载均衡进行服务的调用.那么随着节点的增多,各个 ...
- 分布式日志收集ELK
一.传统系统的日志收集的问题 在传统项目中,如果在生产环境中,有多台不同的服务器集群,如果生产环境需要通过日志定位项目的Bug的话,需要在每台节点上使用传统的命令方式查询,这样效率非常低下. 通常,日 ...
- 分布式日志收集系统Apache Flume的设计详细介绍
问题导读: 1.Flume传输的数据的基本单位是是什么? 2.Event是什么,流向是怎么样的? 3.Source:完成对日志数据的收集,分成什么打入Channel中? 4.Channel的作用是什么 ...
- 分布式日志收集工具分析比较
目录 写在最前:为什么做日志收集系统❓ 一.多种日志收集工具比较 1.背景介绍 2.Facebook 的 Scribe 3.Apache 的 Chukwa 4.LinkedIn 的 Kafka 5.C ...
- 使用ELK搭建日志收集和分析系统
搭建日志收集和分析系统需要以下步骤: 安装Java运行环境 ELK是基于Java开发的,因此需要在服务器上安装Java运行环境 安装Elasticsearch Elasticsearch是ELK的核心 ...
- 一起来解读分布式日志收集系统：Facebook Scribe
1.分布式日志收集系统:背景介绍 许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征: (1) 构建应 ...
- 分布式日志收集系统： Facebook Scribe
转载于博主新浪微博:http://weibo.com/freshairbrucewoo. 欢迎大家相互交流,共同提高技术. 以下是我在公司内部分享的关于分布式日志收集系统的PPT内容,现在与大家分享, ...
最新文章
- 调研字节码插桩技术，用于系统监控设计和实现
- 无废话-SQL Server 2005新功能(1) - TSQL
- python zipfile_Python 学习入门（16）—— zipfile
- 动态为程序指定快捷键
- java lList Map Set总结
- Volatile 关键字 内存可见性
- Sharepoint带自定义属性的FieldType
- 事业单位招 计算机面试实践技能操作,2019山东事业单位卫生类招聘面试实践技能概论...
- Linux如何在任务栏显示时间,在MFC[转载]在MFC状态栏显示时间 状态栏显示时间
- r语言 图形一览_R语言统计与绘图：ggplot2图形组合布局
- C++ class实现Huffman树(完整代码)
- 知识图谱入门视频（一）
- 赢得黑客马拉松的 9 种方式
- python 八数码_python 处理八数码 双向BFS 拼图游戏 | 学步园
- Android Studio 每次运行都会再下载一遍，修改
- Java Web 后端技术
- kvm linux重置密码,超微主板使用ipmicfg重置IPMI密码
- JAVA JNI调用科大讯飞离线语音合成Windows
- 激光雷达在汽车上的应用史
- Tumblr营销大法（一）