微服务分布式架构中,如何实现日志链路跟踪
摘要:接口设计出来返回结果值和编码,还有哪些是需要我们优化的结果参数?微服务分布式架构中,如何实现日志链路跟踪?
本文分享自华为云社区《微服务分布式架构中,如何实现日志链路跟踪?》,作者:码农架构。
Logback 背景
Logback是由log4j创始人设计的另一个开源日志组件,官方网站:http://logback.qos.ch。它当前分为下面下个模块:
- logback-core:其它两个模块的基础模块
- logback-classic:它是log4j的一个改良版本,同时它完整实现了slf4j API使你可以很方便地更换成其它日志系统如log4j或JDK14 Logging
- logback-access:访问模块与Servlet容器集成提供通过Http来访问日志的功能
普通debug日志
SQL执行日志
Logback 配置案例
日志级别排序为: TRACE < DEBUG < INFO < WARN < ERROR
- %d:表示日期
- %n:换行
- %thread:表示线程名
- %level:日志级别
- %msg:日志消息
- %file:表示文件名
- %class: 表示文件名
- %logger:Java类名(含包名,这里设定了36位,若超过36位,包名会精简为类似a.b.c.JavaBean)
- %line:Java类的行号
注意:
%-4relative %d{yyyy-MM-dd HH:mm:ss.SSS} [%thread][%X{TRACE_ID}] %-5level %logger{100}.%M\(%line\) - %msg%n
在logback中,%relative表示自应用程序启动以来打印相对时间戳(以毫秒为单位). %-4只是元素的对齐方式.
案例
3452487 2021-08-03 15:19:36.940 [thread-monitor-daemon][] WARN com.xxxx.common.util.MonitorLogger.warn(27) - 发现超时线程notify-replay-consumer...
由于案例中是守护线程thread-monitor-daemon,所以不记录链路ID。
对在系统设计的时候对于线程的命名规范也是有约束的
这里就不做详细展开后续有机会会分享。
回归正题比如下面的例子中记录了请求的链路ID
19006989 2021-08-04 22:35:25.776 [http-nio-0.0.0.0-8010-exec-10][1fc8pebmgwukw863w2p342rp2936a3r157w0:0:] INFO com.xxx.framework.eureka.core.listener.EurekaStateChangeListener.listen(58) - 服务实例[XX-PAAS]注册成功,当前服务器已注册服务实例数量[3]
对于上图中显示的系统启动时间、当前时间、当前线程、对应路径按照logback官方配置就可以逐步完善对于的日志信息,但是对于链路ID的生成写入就需要特殊处理。
链路ID设计
对于链路追踪设计我个人比较喜欢两种方案
第一种
在每一次请求中链路编号(traceId)、单元编号(spanId)都是通过HttpHeader的方式进行传递,日志的起始位置会主动生成traceId、spanId,而起始位置的Parent SpanId则是不存在的,值为null。
这样每次通过restTemplate、Openfeign的形式访问其他服务的接口时,就会携带起始位置生成的traceId、spanId到下一个服务单元。
第二种
在每一次请求中链路编号(traceId),没经过一次微服务对于深度(Deep)加1
public static class ThreadTraceListener implements ThreadListener {@Overridepublic void onThreadBegin(HttpServletRequest request) {String traceToken = ThreadLocalUtil.getTranVar(TRACE_ID);String fromServer = ThreadLocalUtil.getTranVar(FROM_SERVER);int deep;String traceId;if (StringUtils.isBlank(traceToken)) {traceId = IDGenerator.generateID();deep = 0;traceToken = StringHelper.join(traceId, ":0");} else {int index = traceToken.lastIndexOf(':');traceId = traceToken.substring(0, index);deep = Integer.valueOf(traceToken.substring(index + 1));}ThreadLocalUtil.setLocalVar(TRACE_ID, traceId);ThreadLocalUtil.setLocalVar(TRACE_DEEP, deep);ThreadLocalUtil.setTranVar(TRACE_ID, StringHelper.join(traceId, ":", deep + 1));ThreadLocalUtil.setLocalVar(FROM_SERVER, fromServer);ThreadLocalUtil.setTranVar(FROM_SERVER, getCurrentServer());MDC.put(TRACE_ID, StringHelper.join(traceToken, ":", fromServer));}@Overridepublic void onThreadEnd(HttpServletRequest request) {MDC.remove(TRACE_ID);}}
请求拦截
protected void doFilterInternal(HttpServletRequest request,HttpServletResponse response,FilterChain chain) throws ServletException, IOException {long startTime = System.currentTimeMillis();// 从Header中装载传递过来的变量Map<String, Object> tranVar = new HashMap<String, Object>();Enumeration<String> headers = request.getHeaderNames();while (headers.hasMoreElements()) {String key = headers.nextElement();if (!StringUtils.isEmpty(key)&& key.startsWith(ThreadLocalUtil.TRAN_PREFIX)) {tranVar.put(key.substring(ThreadLocalUtil.TRAN_PREFIX.length()),request.getHeader(key));}}ThreadLocalHolder.begin(tranVar, request);try {if (isGateway) {response.addHeader("X-TRACE-ID", TraceUtil.getTraceId());}// 检查RPC调用深度checkRpcDeep(request, response);// 业务处理chain.doFilter(request, response);// 记录RPC调用次数logRpcCount(request, response);} catch (Throwable ex) {// 错误处理Response<?> result = ExceptionUtil.toResponse(ex);Determine determine = ExceptionUtil.determineType(ex);ExceptionUtil.doLog(result, determine.getStatus(), ex);response.setStatus(determine.getStatus().value());response.setCharacterEncoding("UTF-8");response.setContentType(MediaType.APPLICATION_JSON_UTF8_VALUE);response.getWriter().write(JsonUtil.toJsonString(result));} finally {try {doMonitor(request, response, startTime);if (TraceUtil.isTraceLoggerOn()) {log.warn(StringHelper.join("TRACE-HTTP-", request.getMethod()," URI:", request.getRequestURI(),", dt:", System.currentTimeMillis() - startTime,", rpc:", TraceUtil.getRpcCount(),", status:", response.getStatus()));} else if (log.isTraceEnabled()) {log.trace(StringHelper.join(request.getMethod()," URI:", request.getRequestURI(),", dt:", System.currentTimeMillis() - startTime,", rpc:", TraceUtil.getRpcCount(),", status:", response.getStatus()));}} finally {ThreadLocalHolder.end(request);}}
}
点击关注,第一时间了解华为云新鲜技术~
微服务分布式架构中,如何实现日志链路跟踪相关推荐
- 微服务分布式架构中,如何实现日志链路跟踪?
本文主要讲解了spring cloud微服务使用Feign作为微服务间的通讯框架的情况下,如何使用统一的日志ID来追踪一次请求日志,高效排查日志.核心解决了以下问题: 1.代码无入侵 2.线程池(主/ ...
- 微服务分布式架构中,如何高效收集请求/响应日志
本文主要讲述了spring cloud微服务使用Feign作为微服务间的通讯框架的情况下,如何配置统一的日志打印,能更直观地在日志中收集有效信息. (以下只提供了核心代码截图,详细代码可通过githu ...
- 全网疯传,阿里 P8 技术官的架构笔记外泄:微服务分布式架构实践手册
前言 阿里 P8 大佬的架构笔记:微服务分布式架构实践手册从企业的真实需求出发,理论结合实际,深入讲解 Spring Cloud 微服务和分布式系统的知识. 整份笔记共分为 4 部分: 第一部分:概述 ...
- 一文详解微服务分布式架构
本文将介绍微服务架构和相关的组件,介绍它们是什么以及为什么要使用微服务架构和这些组件.本文侧重于简明地表达微服务架构的全局图景,因此不会涉及具体如何使用组件等细节. 要理解微服务,首先要先理解不是微服 ...
- 一文详解微服务分布式架构!
本文将介绍微服务架构和相关的组件,介绍它们是什么以及为什么要使用微服务架构和这些组件.本文侧重于简明地表达微服务架构的全局图景,因此不会涉及具体如何使用组件等细节. 要理解微服务,首先要先理解不是微服 ...
- SpringCloudAlibaba微服务分布式架构
一.SpringCloudAlibaba简介 待更新 二.Nacos概述 1.什么是nacos? 一个更易于构建云原生应用的动态服务发现.配置管理和服务管理平台,相当于注册中心 + 配置中心的组合,等 ...
- 微服务架构 | 如何利用好日志链路追踪做性能分析?
导读:做性能分析听到最多的歪理就是,服务做水平.垂直扩容.分表分库.读写分离.XX中间件.资源静态化等等但是归根到底这些方案都是为了尽可能减少对数据库的访问以及堆栈的释放,提高数据库IO的读写速度和程 ...
- 阿里架构师推荐,微服务分布式构架开发实战PDF,快快收藏吧
什么是微服务架构 微服务是一种软件架构风格,目标是将一个复杂的应用拆分成多个服务模块,每个模块专注单一业务功能对外提供服务,并可以独立编译及部署,同时各模块间互相通信彼此协作,组合为整体对外提供完整服 ...
- 微服务分布式构架开发实战PDF,阿里架构师推荐,快快收藏吧
什么是微服务架构 微服务是一种软件架构风格,目标是将一个复杂的应用拆分成多个服务模块,每个模块专注单一业务功能对外提供服务,并可以独立编译及部署,同时各模块间互相通信彼此协作,组合为整体对外提供完整服 ...
最新文章
- Linux文件系统构成(第二版)
- 命令解释器的设计及实现
- 学长毕业日记 :本科毕业论文写成博士论文的神操作20170401
- 归一化处理公式_数学建模中的数据处理——归一化处理
- Linxu入门(一)
- 黑马程序员_Java高新技术
- 软件工程实验报告一模板
- vncserver 设置过万的分辨率_修改vnc远程桌面分辨率,2种修改vnc远程桌面分辨率的方法...
- 三维点云——数据标注
- 用PHPphpstudy写一个可以登录的简单网页
- Apache POI 读取、写入Excel文件教程
- 什么是FDR校正,核磁共振成像中FDR校正方法有哪些?如何进行FDR校正?
- Unity项目进阶之保卫萝卜
- 机器学习周志华——机器学习的应用领域
- iMeta | 东农吴凤芝/南农韦中等揭示生物炭抑制作物土传病害机理
- 如何找win10 软件商店里下载的python路径并删除
- 华为5c_华为荣耀畅玩5C的CPU是什么?CPU主频是多少?
- 告诉你十一个腰椎间盘突出症的锻炼方法
- 暑期培训《数学建模》一:模糊综合评价
- 2.02-外设篇-GPIO输出高低电平
热门文章
- ffmpeg开源工具的使用_如何使用开源工具和最佳实践提高在线隐私
- JavaScript计时器函数用法
- SLAM GMapping(2)传感器
- centos5安装oracle11,CentOS 6.5 x64 安装 Oracle11g R2
- mysql connector放在哪_关于MySQL Connector/C++那点事儿
- 10.11.5 brew mysql_mac os10.11下安装MySQLdb
- linux tbb 安装_Ubuntu18.04 GCC9 安装
- 相机噪声与深度感知的方法梳理
- 各种流行编程语言的优缺点
- python - 代码练习 - 差异备份/同步更新