日志系统新贵 Loki,确实比笨重的 ELK 轻
作者 | linkt1234
来源 | CSDN博客
最近,在对公司容器云的日志方案进行设计的时候,发现主流的ELK或者EFK比较重,再加上现阶段对于ES复杂的搜索功能很多都用不上最终选择了Grafana开源的Loki日志系统,下面介绍下Loki的背景。
背景和动机
当我们的容器云运行的应用或者某个节点出现问题了,解决思路应该如下:
我们的监控使用的是基于prometheus体系进行改造的,prometheus中比较重要的是metric和alert,metric是来说明当前或者历史达到了某个值,alert设置metric达到某个特定的基数触发了告警,但是这些信息明显是不够的。我们都知道,k8s的基本单位是pod,pod把日志输出到stdout和stderr,平时有什么问题我们通常在界面或者通过命令查看相关的日志,举个例子:当我们的某个pod的内存变得很大,触发了我们的alert,这个时候管理员,去页面查询确认是哪个pod有问题,然后要确认pod内存变大的原因,我们还需要去查询pod的日志,如果没有日志系统,那么我们就需要到页面或者使用命令进行查询了:
如果,这个时候应用突然挂了,这个时候我们就无法查到相关的日志了,所以需要引入日志系统,统一收集日志,而使用ELK的话,就需要在Kibana和Grafana之间切换,影响用户体验。所以 ,loki的第一目的就是最小化度量和日志的切换成本,有助于减少异常事件的响应时间和提高用户的体验。
ELK存在的问题
现有的很多日志采集的方案都是采用全文检索对日志进行索引(如ELK方案),优点是功能丰富,允许复杂的操作。但是,这些方案往往规模复杂,资源占用高,操作苦难。很多功能往往用不上,大多数查询只关注一定时间范围和一些简单的参数(如host、service等),使用这些解决方案就有点杀鸡用牛刀的感觉了。
因此,Loki的第二个目的是,在查询语言的易操作性和复杂性之间可以达到一个权衡。
成本
全文检索的方案也带来成本问题,简单的说就是全文搜索(如ES)的倒排索引的切分和共享的成本较高。后来出现了其他不同的设计方案如:OKlog(https://github.com/oklog/oklog),采用最终一致的、基于网格的分布策略。这两个设计决策提供了大量的成本降低和非常简单的操作,但是查询不够方便。因此,Loki的第三个目的是,提高一个更具成本效益的解决方案。
整体架构
Loki的架构如下:
不难看出,Loki的架构非常简单,使用了和prometheus一样的标签来作为索引,也就是说,你通过这些标签既可以查询日志的内容也可以查询到监控的数据,不但减少了两种查询之间的切换成本,也极大地降低了日志索引的存储。Loki将使用与prometheus相同的服务发现和标签重新标记库,编写了pormtail, 在k8s中promtail以daemonset方式运行在每个节点中,通过kubernetes api等到日志的正确元数据,并将它们发送到Loki。下面是日志的存储架构:
读写
日志数据的写主要依托的是Distributor和Ingester两个组件,整体的流程如下:
Distributor
一旦promtail收集日志并将其发送给loki,Distributor就是第一个接收日志的组件。由于日志的写入量可能很大,所以不能在它们传入时将它们写入数据库。这会毁掉数据库。我们需要批处理和压缩数据。
Loki通过构建压缩数据块来实现这一点,方法是在日志进入时对其进行gzip操作,组件ingester是一个有状态的组件,负责构建和刷新chunck,当chunk达到一定的数量或者时间后,刷新到存储中去。每个流的日志对应一个ingester,当日志到达Distributor后,根据元数据和hash算法计算出应该到哪个ingester上面。
此外,为了冗余和弹性,我们将其复制n(默认情况下为3)次。
Ingester
ingester接收到日志并开始构建chunk:
基本上就是将日志进行压缩并附加到chunk上面。一旦chunk“填满”(数据达到一定数量或者过了一定期限),ingester将其刷新到数据库。我们对块和索引使用单独的数据库,因为它们存储的数据类型不同。
刷新一个chunk之后,ingester然后创建一个新的空chunk并将新条目添加到该chunk中。
Querier
读取就非常简单了,由Querier负责给定一个时间范围和标签选择器,Querier查看索引以确定哪些块匹配,并通过greps将结果显示出来。它还从Ingester获取尚未刷新的最新数据。
对于每个查询,一个查询器将为您显示所有相关日志。实现了查询并行化,提供分布式grep,使即使是大型查询也是足够的。
可扩展性
Loki的索引存储可以是cassandra/bigtable/dynamodb,而chuncks可以是各种对象存储,Querier和Distributor都是无状态的组件。对于ingester他虽然是有状态的但是,当新的节点加入或者减少,整节点间的chunk会重新分配,已适应新的散列环。而Loki底层存储的实现Cortex已经 在实际的生产中投入使用多年了。有了这句话,我可以放心的在环境中实验一把了。
来源:https://blog.csdn.net/Linkthaha/article/details/100575278
【END】
更多精彩推荐
☞被微软收购两年后,GitHub 怎么样了?
☞CSDN 创始人蒋涛:开源吞噬世界,得开发者得天下
☞“自由主义教皇” 、Linux 之父的封神之路
☞数据爆炸时代,云存储在“破圈”!
☞代码恒久远,GitHub 永流传
☞赠书 |区块链和物联网也能擦出火花?
点分享点点赞点在看
日志系统新贵 Loki,确实比笨重的 ELK 轻相关推荐
- 日志系统新贵 Loki,确实比笨重的ELK轻
日志系统新贵 Loki,确实比笨重的ELK轻 最近,在对公司容器云的日志方案进行设计的时候,发现主流的ELK或者EFK比较重,再加上现阶段对于ES复杂的搜索功能很多都用不上最终选择了Grafana开源 ...
- 日志系统新贵Loki,确实比笨重的ELK轻
来自:CSDN(作者:linkt1234) 原文链接: https://blog.csdn.net/Linkthaha/article/details/100575278 最近,在对公司容器云的日志方 ...
- java 操作日志设计_日志系统新贵 Loki,确实比笨重的ELK轻
本文同步Java知音社区,专注于Java 作者:linkt1234http://blog.csdn.net/Linkthaha/article/details/100575278 最近,在对公司容器云 ...
- 日志系统新贵 Loki,真香!!
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明.来源链接:https://blog.csdn.net/Linkthaha/ 最近,在对公司容器云 ...
- 日志系统新贵 —— Loki 详解
背景 最近,在对公司容器云的日志方案进行设计的时候,发现主流的ELK或者EFK比较重,再加上现阶段对于ES复杂的搜索功能很多都用不上最终选择了Grafana开源的Loki日志系统,下面介绍下Loki的 ...
- 【日志系统】Loki日志监控 - 入门初体验
使用Grafana+Loki+Promtail入门级部署分布式日志系统(windows环境)
- 日志系统新贵,Loki到底优秀在哪里?
点击关注公众号,利用碎片时间学习 总结下 loki 的优点 低索引开销 loki 和 es 最大的不同是 loki 只对标签进行索引而不对内容索引 这样做可以大幅降低索引资源开销 (es 无论你查不查 ...
- 分布式日志系统Graylog、Loki及ELK的分析和对比
更多内容关注微信公众号:fullstack888 日志系列: 企业级日志平台新秀Graylog,比ELK轻量多了 日志系统新贵Loki,比ELK轻量多了 1. 为什么需要集中的日志系统? 在分布式系统 ...
- Loki 学习总结(1)—— Loki 中小项目日志系统的不二之选
前言 项目做正规了,日志系统是少不了的,目前大部分日志平台推荐基于 ELK 构建,不过 ELK 算是比较重了,架构太大,中小项目不太好 Hold 住,希望找一款简单一些的,如果实在找不到再上 ELK, ...
最新文章
- JVM---直接内存
- sqlserver Distributed Transaction 分布式事务
- system.DateTime ToDateTime(System.String)”,因此该方法无法转换为存储表达式-解决方法...
- 基础中的基础。CANVAS step01
- JavaScript复制内容到剪贴板
- referer htttp headers 统计信息 防盗链
- ai画面怎么调大小_ai如何调整对象大小
- python set
- fusion构建器代码语法_构建器模式:适用于代码,适用于测试
- 二分法(leetcode分类解题,C++代码详细注释)
- hadoop join
- 在DOS命令行执行MYSQL语句
- Oracle 分页与排序功能的4个查询语句
- jQuery怎么改变img的src
- Atitit 区块链之道 attilax著 艾龙著 1. 金融=制度+技术+信息	1 2. 第一章可信的协议	1 3. 第二章引导未来:区块链经济七大设计原则	1 4. 第五章 新商业
- Atitit 编程语言常用算法attilax总结
- c语言程序求对称矩阵,C中使用CBLAS/LAPACK的对称矩阵求逆
- flash activex java_adobe flash player activex
- 关于永恒之蓝MS17-010的描述影响范围及修复方案
- 关于左对齐和左对齐的一些简单理解和杨辉3角的算法思想
热门文章
- leetcode 387. 字符串中的第一个唯一字符(First Unique Character in a String)
- Jmeter学习笔记(三)文件上传
- ubuntu 操作记录
- 【七】jquery之属性attr、 removeAttr、prop[全选全不选及反选]
- 关于mat2gray
- Atitit.json xml 序列化循环引用解决方案json
- 分类与回归机器学习模型的评价指标
- 网格系统常用的三种比例
- Python 中文文本分词(包含标点的移除)
- 《编码规范和测试方法——C/C++版》作业 ·002——函数返回地址、static关键词用法整理