jenkins构建记录日志_构建企业日志记录层的清单
jenkins构建记录日志
在有关云迁移服务,数据中心和微服务等大型主题的任何讨论中,企业日志记录主题都可以归结为事后想法。 但是这样做的后果自负,因为如果不进行日志记录,就无法对服务进行有效的诊断和调试,就无法获得关键的可见性。 此外,如果您是大型企业,则可能违反了合规性要求。
在将应用程序和基础结构组件添加到数据中心时,收集的日志数据量将大大增加。 将其与使用Docker,容器和Kubernetes的临时组件结合起来,日志数据就变得至关重要。
日志记录层的专有工具未能跟上云原生的趋势,因此许多企业开始使用开源软件来满足其日志记录需求。 这些开放源代码工具允许用户统一所有网络设备,防火墙,应用程序和基础结构数据中的数据流,并且它们与已经为企业提供动力的其他开放源代码项目一起发展。 在大多数情况下,开源工具不再只是替代品,而是功能更强大的产品,其性能可能超过其专有同类产品。
在构建用于收集,统一和分析日志的基础结构时,请确保选中所有这些框,以确保日志发挥其作为宝贵记录和工具的潜力。
- 安全性 :由于日志包含来自您的应用程序,基础结构和网络设备的数据,因此它们可能还包含敏感信息。 为防止操作员或网络入侵者破坏该信息,请确保您的日志在静止和运输过程中都是安全的。 此外,请确保您的加密标准不容易解密(MD5或SHA1),但至少应使用SHA-256位加密(首选AES-256位加密)。
- 高可用性:将日志数据传输到所需的后端以进行合规性或调试时,缺少日志部分会在企业历史记录中造成漏洞。 这意味着您可能无法确定哪个应用程序失败,哪个网络设备流传输了恶意内容或哪个国家/地区入侵了您的防火墙。 请记住,当您的基础架构不堪重负时,您的日志记录基础架构往往会随之而来。 高可用性确保您拥有辅助日志记录管道,如果主管道处于脱机状态,则该管道可以路由和审核日志。
- 负载平衡 :日志数据往往随着企业的增长而增长,并且日志量可以从每秒几百条消息增加到数百万条。 这意味着您的日志记录基础结构需要适当地平衡这些不断增长的消息速率的负载,并防止单个实例不堪重负。
- 流拆分:一条日志消息对于企业中的多个利益相关者(例如IT,安全性和应用程序开发人员)可能很重要。 发送生产日志数据时,请确保您可以将数据有效地路由到特定利益相关者的工具集,并在多个利益相关者需要分别对其进行分析时复制数据。
- 供应商锁定逃避:将数据发送到单个分析工具集是对管道进行编码的简便方法,但可能无法获得最佳的分析和见解回报。 此外,锁定单个供应商以在后端提供分析可能会很昂贵,并且您的数据可能会被劫持。 相反,您的日志记录管道应该灵活高效,从而使您能够快速采用新技术并将数据路由到可以对其进行最有效处理的位置。
- 边缘处理:大多数情况下,当您在日志记录数据之上运行分析时,您可以运行昂贵且需要大量计算的查询,这些查询需要很长时间才能完成。 日志记录管道应该做一些初步的工作,而不是等到所有数据都在后端中开始分析之后,再用相关信息来扩充数据流或在多个节点之间分配处理。
- 边缘过滤:就像您尝试只记录最重要的数据一样,有时日志只是一堆杂音。 您的日志记录管道应该能够智能地识别嘈杂的消息并快速将其过滤掉。 您的管道还应该能够在各种字段上进行过滤,包括日志的来源,日志的严重性,日志消息中的内容以及日志时间。
- 与应用程序无关的日志记录(非模块化日志记录,整体式日志记录):当日志记录管道与应用程序未分开时,每次更改日志记录管道时都需要重新部署应用程序。 这意味着您每次重新部署时都会丢失日志,并且如果应用程序出现故障,日志记录也会停止。 即使您需要对日志记录管道进行的更改很小,您仍需要重新部署应用程序,这对于移动应用程序而言是昂贵的,而如果您的应用程序是硬件产品的一部分,则几乎是不可能的。
- 可靠性:记录日志的后端应始终启动并运行,但有时由于多种原因它们可能不可用。 您的日志记录管道应该能够识别何时发生错误,并能够在等待后端系统恢复时缓冲数据。 如果后端长时间不可用,则您的日志记录管道应能够使用其高可用性属性来切换到备份。
- 监视:当不再生成日志时,您将无法查看基础结构,应用程序和网络设备。 一切可能运行顺利,或者所有地狱都可能崩溃。 这就是为什么当Google Cloud和Microsoft Azure中的日志记录中断时,工程师认为它的严重性为0。确保日志记录基础结构正常运行的唯一方法是监视以确保其正常运行,吞吐量快速且稳定,并且解决了所有异常情况。
- 日志记录代理权重:通常,当您在应用程序旁边部署日志记录代理时,您希望该日志记录代理轻巧,高效且可靠。 使用繁重的日志记录代理可能会占用应为应用程序使用的性能,从而影响您的业务应用程序。
让您的日志记录层成为事后的想法可能会对您的业务产生严重影响。 遵循这些建议可确保您的企业日志记录不仅支持合规性需求,而且还实现了帮助您的企业平稳有效运行的必要目标。
翻译自: https://opensource.com/article/17/9/enterprise-logging-checklist
jenkins构建记录日志
jenkins构建记录日志_构建企业日志记录层的清单相关推荐
- 前端构建工具_构建工具
前端构建工具 深度JavaScript (Deep JavaScript) Choosing a development tool based on its popularity isn't a ba ...
- windows log日志分割_如何将日志记录到 Windows事件日志 中
每当出现一些未捕获异常时,操作系统都会将异常信息写入到 Windows 事件日志 中,可以通过 Windows 事件查看器 查看,如下图: 这篇文章将会讨论如何使用编程的方式将日志记录到 Window ...
- jboss7 关闭日志打印_使用自定义日志记录处理程序在JBoss AS 7中跟踪SQL语句
jboss7 关闭日志打印 使用ORM从您的特定数据库中提取数据并让其创建和发布您必须亲自编写的所有SQL语句似乎很方便. 这就是使ORM解决方案受欢迎的原因. 但是它也有一个缺点:由于ORM为您做了 ...
- android系统构建系统_构建系统简介
android系统构建系统 Jan. 21. 2016 2016年1月21日 Roughly speadking, build in software development is the proce ...
- 安装程序未能打开日志文件_桌面安装工具日志记录错误的说明 - Office 365 | Microsoft Docs...
Microsoft 365 桌面安装程序工具日志记录错误的说明 2020/9/8 适用于: Microsoft 365 本文内容 原始 KB 数: 2404500 当您尝试使用 Microsoft ...
- 思科交换机配置syslog记录日志到syslog watcher日志记录软件
C3560#config t C3560(config)#logging on C3560(config)#logging host 192.168.210 //日志服务器的IP地址 C3560(co ...
- 华为开源构建工具_构建开源软件长达5年并以故事为生
华为开源构建工具 I've been working on open-source software for 5 years now and I'm still going. It's not som ...
- linux创建目录记录日志,创建LVM的日志记录
先上一张鸟哥LVM的图.感觉这张最清楚了. #以下以Xshell的日志记录系统直接记录.上面添加了一些个人理解的注释 [BEGIN] 2016/9/13 9:22:24 #先查看下硬盘的情况. [ro ...
- 一直在构建版本_构建系统与代码结构SpringBoot
从今天开始,我们进入SpringBoot的使用环节,这一部分包含了构建系统,自动配置,如何运行应用程序,自然也包括了一些使用SpringBoot的最佳实践.关于SpringBoot的介绍,Anders ...
最新文章
- 对象检测工具包mmdetection简介、安装及测试代码
- UI设计培训怎么选择就业方向
- Android输入输出系统之TouchEvent流程
- 2019腾讯的面试题
- pythonsorted_[转].Python中sorted函数的用法
- μC/OS-I移植需要编写的文件
- GWT,GWT-Ext(SmartGWT),GXT(Ext GWT)常见任务
- JavaScript中defer 和onload的执行顺序
- 收藏 | 90+深度学习开源数据集整理:包括目标检测、工业缺陷、图像分割等多个方向(附下载)...
- error500java_错误 500 java.lang.NoClassDefFoundError: com/lowagie/text/pdf/FontMapper
- Ubuntu20.04 electron ssr配置完不好用可能的原因
- 异速联服务器配置系统管理员,金万维异速联服务器配置单.docx
- Python-OpenCV双目测距代码实现以及参数解读
- DRM in Android
- 如果你要补充益生菌 ——益生菌补充、个体化、定植指南
- 百度地图滑动后获取屏幕的中心点百度坐标
- 《精读 Mastering ABP Framework》教程发布
- 使用Fiddler对手机APP抓包渗透测试实战
- CISSP三次背书经验分享
- 2022.12.29