iis 日志 post数据_云原生日志的趋势(1)：logscape和logiq

作为日志产品的PM，跟进国内外日志产品动向是个长期工作。这几天翻新一些历史记录，发现logscape自2017年开源以来，突然2019年10月又更新了一会。于是顺着翻翻logscape的github账号，起了兴致来写点文字。

https://github.com/logscape/Logscapegithub.com

先聊logscape这个产品吧，从源码里可以大致看出：这是一个不基于elasticsearch的日志分析产品，而是基于linkedin老早之前开源的一个叫krati的KV存储上做的。

从logscape自己的文档来看，性能部分表现不算很好：

但是在资源控制上做的还蛮细：

此外，几乎各种功能都有：

告警插件：groovy和js支持
日志分组：基于日志源的组合和额外的host过滤
多租户支持：不过是知识级别，不是数据级别
字段字段发现：主要是kv和grok两种，kv和splunk一样其实也包括json，按照文档所说，自动kv的每个模式20MB/s，grok的每个模式14MB/s。但是注意：logscape其实还是事先提取，自动发现的字段是会做flatfile存储的。
数据概要：可以创建新字段，包括stats和eval，并且设置为summary。也可以直接通过summary.index(write)指令手动或定期生成。

但是，logscape这个莫名其妙的SPL设计简直反人类啊：

首先，它模仿了一段lucene的querystring全文搜索，然后对字段值又要单独采用Obj.<method>方法过滤，最后，聚合函数和后估值、后统计都是只用空格连接的。最后的最后，还可以把多个查询直接放在一起，成为多Y轴画图的数据查询(overlay search)。下面是几行示例：

cpu | cpu.max(_host,1h) _host.equals(LAB-UK-XS-UB1) offset(1h) chart(line)
([A-Za-z.]+)Exception | 1.count() _host.equals(LAB-UK-XS-UB1)
* | _type.contains(UNX) _type.equals(unx-ps) usedMB.avg(server,UsedKB) RSZ_MB.avg(server,rszKB) eval(EACH * 1024) chart(table) buckets(1)
* | _type.equals(UNX-cpu) CpuUtilPct.avg(server,AvgCpu) +AvgCpu.eval(CpuUtilPct > 10) chart(cluster) buckets(6)
Agent and cpu | cpu.max(_host,POST) +POST.max(,Max) +POST.min(,Min) +POST.avg(,Avg) chart (c3.area)
* | _type.equals(log4j) package+level.count(,PackageLevel) level.not(INFO) chart(line)

谁能单从语法上看懂这是要干嘛……

总结一下：logscape最大的问题：底层引擎性能不给力，顶层DSL设计乱糟糟。白瞎了中间层细致的管理功能。

然后顺着logscape的github账号，发现难怪他们开源以后就没咋更新呢，原来后来又做了一版NG(liquidlabsio/logscape-ng，叫serverless and opensource log aggregation)，并很快又放弃掉改成了一个更加serverless的项目，这次名字叫fluidity：

https://github.com/liquidlabsio/fluiditygithub.com

这次，这个项目的设计目标，是单纯利用amazon S3和lambda来实现长期存储和即时计算！

由于项目还很初期，所以就不看他们源码实现了。但是这个让我想到前几天，同样在CNCF landscape上看到的另一个产品：logiq。

LOGIQ Observability for monitoring, logs, and predictable pricinglogiq.ai

这个产品，直接提供helm-chart和amazon cloudFormation template文件供运行启动。如果是本地helm-chart，日志存储在开源对象存储minio里；如果是cloudFormation template，日志存储在amazon的S3对象存储里。

然后，logiq产品本身，除了日志查看页面，也就还提供一个命令行的logiqctl，进行日志的query和tail。

可以说，二者非常相像，都是放弃自己对数据存储引擎的构建，彻底交给云平台，交给S3——因为，S3太便宜啦！

iis 日志 post数据_云原生日志的趋势(1)：logscape和logiq相关推荐

基于 Golang 的云原生日志采集服务设计与实践
云原生技术大潮已经来临,技术变革迫在眉睫. 在这股技术潮流之中,网易推出了轻舟微服务云平台,集成了微服务.Servicemesh.容器云.DevOps等,已经广泛应用于公司集团内部,同时也支撑了很多外 ...
基于Golang的云原生日志采集服务设计与实践
一.背景云原生技术大潮已经来临,技术变革迫在眉睫. 在这股技术潮流之中,网易推出了轻舟微服务云平台,集成了微服务.Servicemesh.容器云.DevOps等,已经广泛应用于公司集团内部,同时也支 ...
网易开源云原生日志收集工具 Loggie 入门指南
公众号关注「奇妙的 Linux 世界」设为「星标」,每天带你玩转 Linux ! Loggie 是网易和中国工商银行联合发起的一个基于 Golang 的轻量级.高性能.云原生日志采集 Agent和 ...
数字营销行业大数据平台云原生升级实战
简介: 加和科技CTO 王可攀:技术是为业务价值而服务王可攀加和科技CTO 本文将基于加和科技大数据平台升级过程中面临的问题和挑战.如何调整数据平台架构以及调整后的变化,为大家介绍数字营销行业大数 ...
k8s挂载目录_云原生存储详解：容器存储与 K8s 存储卷
作者 | 阚俊宝阿里云技术专家导读:云原生存储详解系列文章将从云原生存储服务的概念.特点.需求.原理.使用及案例等方面,和大家一起探讨云原生存储技术新的机遇与挑战.本文为该系列文章的第二篇,会对容 ...
阿里云资深专家李国强：云原生的一些趋势和新方向
作者:阿里云用户组 2021 年 11 月 26 日,阿里云用户组(AUG)第 3 期活动在广州顺利举行.具有丰富的容器.微服务等领域经验的阿里云云原生资深专家李国强,向现场数十家广州企业分享了云原生 ...
虎年云原生落地技术趋势
今天是立春,虎年第一天.去年我写过一篇牛年 dotnet云原生技术趋势[1],今天再来写一篇虎年云原生落地技术趋势,去年局限在.NET 平台上的云原生落地,我今年在去年探索云原生落地的基础上从多语言 ...
构建企业级云原生日志系统架构
❝ 本文转自大数据老司机的博客,原文:https://www.cnblogs.com/liugp/p/16463920.html,版权归原作者所有.欢迎投稿,投稿请添加微信好友:cloud-nativ ...
Logging Operator - 优雅的云原生日志管理方案 (一)
Logging Operator是BanzaiCloud下开源的一个云原生场景下的日志采集方案.之前小白转载过崔大佬介绍的一篇文章,不过由于之前一直认为在单个k8s集群下同时管理Fluent bit和 ...

iis 日志 post数据_云原生日志的趋势(1)：logscape和logiq

iis 日志 post数据_云原生日志的趋势(1)：logscape和logiq相关推荐

最新文章

热门文章