网易开源云原生日志系统！

上一篇：字节跳动面试经验总结，已顺利拿到offer！

近日，由网易和中国工商银行联合发起的云原生日志系统Loggie项目正式开源。

云原生日志之痛

企业数字化转型浪潮中，采用云原生技术解决数字化软件研发、运维新挑战已成主流选择，然而在云原生环境下，容器大规模及频繁动态迁移、日志存储多样性、Kubernetes元信息查询等特点，迫使日志管理方式发生变化。随着业务实践的深入，日志方面存在的人肉运维越来越多、功能开发难以扩展和难以支撑更大规模等问题逐渐浮出水面，业界既有的开源方案未能满足需求，比如：

性能不达标，或者扩展功能开发效率低，未达到很好的平衡
对容器化场景支持有限
大部分开源项目均未提供一套完整的日志解决方案

在此背景下，面向云原生场景的Loggie应运而生。Loggie是一个基于Golang的轻量级、高性能、云原生日志采集Agent和中转处理Aggregator，支持多Pipeline和组件热插拔，提供了：

一栈式日志解决方案：同时支持日志中转、过滤、解析、切分、日志报警等
云原生的日志形态：快速便捷的容器日志采集方式，原生的Kubernetes CRD动态配置下发
生产级的特性：基于长期的大规模运维经验，形成了全方位的可观测性、快速排障、异常预警、自动化运维能力

Loggie特点

可扩展、热插拔：配置不同的Source/Interceptor/Sink，拥有中转、过滤、解析、切分、日志报警等能力，可使用Golang快速自研插件
强隔离：多Pipeline设计，减少互相干扰，可同时发送多个不同数据源
轻量级、高性能：基于Golang，极少的资源占用，强大的吞吐性能
另外搜索公众号互联网架构师后台回复“2T”，获取一份惊喜礼包。
可靠性保障：完善的日志可观测性，原生Prometheus metrics支持，还有限流等Interceptor
云原生：配置中心集成Kubernetes，创建CRD实例即可采集容器日志

此外，利用Loggie的设计，用户也可以快速开发一个Source、Sink或Interceptor组件，复用Loggie的能力，避免大量重复的开发工作，比如：

在Kubernetes集群中可方便、直接的使用CRD下发配置，并且支持自动reload、支持指定Loggie集群，无需考虑部署、配置更新等问题
依赖Loggie提供传输过程的稳定性和可靠性，保证at-least-once和重试机制，避免数据丢失，以及数据量过多或过大造成的隐患
使用Loggie提供的一系列监控指标，比如队列长度、传输延迟、发送QPS等，可快速接入Prometheus，同时还可使用一些系统内置的快速排障的接口与能力
使用可插拔的Interceptor可用于自定义的数据处理、格式转换等，避免过多的定制化代码开发

项目地址

Loggie项目地址：https://github.com/loggie-io/loggie/

Loggie项目文档：https://loggie-io.github.io/docs/

感谢您的阅读，也欢迎您发表关于这篇文章的任何建议，关注我，技术不迷茫！小编到你上高速。

· END ·

最后，关注公众号互联网架构师，在后台回复：2T，可以获取我整理的 Java 系列面试题和答案，非常齐全。

正文结束