Spring Cloud构建微服务架构:分布式服务跟踪(整合logstash)【Dalston版】
通过之前的《入门示例》,我们已经为两个由SpringCloud构建的微服务项目 trace-1
和 trace-2
引入了Spring Cloud Sleuth的基础模块 spring-cloud-starter-sleuth
,实现了为各微服务的日志信息中添加跟踪信息的功能。但是,由于日志文件都离散的存储在各个服务实例的文件系统之上,仅仅通过查看日志文件来分析我们的请求链路依然是一件相当麻烦的差事,所以我们还需要一些工具来帮助我们集中的收集、存储和搜索这些跟踪信息。引入基于日志的分析系统是一个不错的选择,比如:ELK平台,它可以轻松的帮助我们来收集和存储这些跟踪日志,同时在需要的时候我们也可以根据Trace ID来轻松地搜索出对应请求链路相关的明细日志。
ELK平台主要有由ElasticSearch、Logstash和Kiabana三个开源免费工具组成:
Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。
Logstash是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用。
Kibana 也是一个开源和免费的工具,它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。
Spring Cloud Sleuth在与ELK平台整合使用时,实际上我们只要实现与负责日志收集的Logstash完成数据对接即可,所以我们需要为Logstash准备json格式的日志输出。由于Spring Boot应用默认使用了logback来记录日志,而Logstash自身也有对logback日志工具的支持工具,所以我们可以直接通过在logback的配置中增加对logstash的appender,就能非常方便的将日志转换成以json的格式存储和输出了。
下面我们来详细介绍一下在快速入门示例的基础上,如何实现面向Logstash的日志输出配置:
在
pom.xml
依赖中引入logstash-logback-encoder
依赖,具体如下:
<dependency>
<groupId>net.logstash.logback</groupId>
<artifactId>logstash-logback-encoder</artifactId>
<version>4.6</version>
</dependency>
在工程
/resource
目录下创建bootstrap.properties
配置文件,将spring.application.name=trace-1
配置移动到该文件中去。由于logback-spring.xml
的加载在application.properties
之前,所以之前的配置logback-spring.xml
无法获取到spring.application.name
属性,因此这里将该属性移动到最先加载的bootstrap.properties
配置文件中。在工程
/resource
目录下创建logback配置文件logback-spring.xml
,具体内容如下:
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
<include resource="org/springframework/boot/logging/logback/defaults.xml"/>
<springProperty scope="context" name="springAppName" source="spring.application.name"/>
<!-- 日志在工程中的输出位置 -->
<property name="LOG_FILE" value="${BUILD_FOLDER:-build}/${springAppName}"/>
<!-- 控制台的日志输出样式 -->
<property name="CONSOLE_LOG_PATTERN"
value="%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(${LOG_LEVEL_PATTERN:-%5p}) %clr([${springAppName:-},%X{X-B3-TraceId:-},%X{X-B3-SpanId:-},%X{X-Span-Export:-}]){yellow} %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %clr(%-40.40logger{39}){cyan} %clr(:){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}"/>
<!-- 控制台Appender -->
<appender name="console" class="ch.qos.logback.core.ConsoleAppender">
<filter class="ch.qos.logback.classic.filter.ThresholdFilter">
<level>INFO</level>
</filter>
<encoder>
<pattern>${CONSOLE_LOG_PATTERN}</pattern>
<charset>utf8</charset>
</encoder>
</appender>
<!-- 为logstash输出的json格式的Appender -->
<appender name="logstash" class="ch.qos.logback.core.rolling.RollingFileAppender">
<file>${LOG_FILE}.json</file>
<rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
<fileNamePattern>${LOG_FILE}.json.%d{yyyy-MM-dd}.gz</fileNamePattern>
<maxHistory>7</maxHistory>
</rollingPolicy>
<encoder class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
<providers>
<timestamp>
<timeZone>UTC</timeZone>
</timestamp>
<pattern>
<pattern>
{
"severity": "%level",
"service": "${springAppName:-}",
"trace": "%X{X-B3-TraceId:-}",
"span": "%X{X-B3-SpanId:-}",
"exportable": "%X{X-Span-Export:-}",
"pid": "${PID:-}",
"thread": "%thread",
"class": "%logger{40}",
"rest": "%message"
}
</pattern>
</pattern>
</providers>
</encoder>
</appender>
<root level="INFO">
<appender-ref ref="console"/>
<appender-ref ref="logstash"/>
</root>
</configuration>
对logstash支持主要通过名为 logstash
的appender实现,内容并不复杂,主要是对日志信息的格式化处理,上面为了方便调试查看我们先将json日志输出到文件中。
完成上面的改造之后,我们再将快速入门的示例运行起来,并发起对 trace-1
的接口访问。此时我们可以在 trace-1
和 trace-2
的工程目录下发现有一个 build
目录,下面分别创建了以各自应用名称命名的json文件,该文件就是在 logback-spring.xml
中配置的名为 logstash
的appender输出的日志文件,其中记录了类似下面格式的json日志:
{"@timestamp":"2016-12-04T06:57:58.970+00:00","severity":"INFO","service":"trace-1","trace":"589ee5f7b860132f","span":"a9e891273affb7fc","exportable":"false","pid":"19756","thread":"http-nio-9101-exec-1","class":"c.d.TraceApplication$$EnhancerBySpringCGLIB$$a9604da6","rest":"===<call trace-1>==="}
{"@timestamp":"2016-12-04T06:57:59.061+00:00","severity":"INFO","service":"trace-1","trace":"589ee5f7b860132f","span":"2df8511ddf3d79a2","exportable":"false","pid":"19756","thread":"http-nio-9101-exec-1","class":"o.s.c.a.AnnotationConfigApplicationContext","rest":"Refreshing org.springframework.context.annotation.AnnotationConfigApplicationContext@64951f38: startup date [Sun Dec 04 14:57:59 CST 2016]; parent: org.springframework.boot.context.embedded.AnnotationConfigEmbeddedWebApplicationContext@4b8c8f15"}
我们除了可以通过上面的方式生成json文件之外,也可以使用 LogstashTcpSocketAppender
将日志内容直接通过Tcp Socket输出到logstash服务端,比如:
<appender name="logstash" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
<destination>127.0.0.1:9250</destination>
...
</appender>
完整示例:
读者可以根据喜好选择下面的两个仓库中查看 trace-1
和 trace-2
两个项目:
Github:https://github.com/dyc87112/SpringCloud-Learning/
Gitee:https://gitee.com/didispace/SpringCloud-Learning/
如果您对这些感兴趣,欢迎star、follow、收藏、转发给予支持!
本文内容部分节选自我的《Spring Cloud微服务实战》,但对依赖的Spring Boot和Spring Cloud版本做了升级。
更多内容,请点击《Spring Cloud微服务架构汇总》
推荐阅读
Spring Cloud构建微服务架构:分布式服务跟踪(跟踪原理)
Spring Cloud构建微服务架构:分布式服务跟踪(入门)
Spring Cloud Gateway真的有那么差吗?
Netflix 的上线工具 Spinnaker
浅谈微服务基建的逻辑
Service Mesh:下一代微服务
微服务(Microservices)【翻译】
那些没说出口的研发之痛,做与不做微服务的几大理由
长按指纹
一键关注
点击 “阅读原文” 看看本号其他精彩内容
Spring Cloud构建微服务架构:分布式服务跟踪(整合logstash)【Dalston版】相关推荐
- Spring Cloud构建微服务架构:分布式服务跟踪(整合zipkin)【Dalston版】
通过上一篇<分布式服务跟踪(整合logstash)>,我们虽然已经能够利用ELK平台提供的收集.存储.搜索等强大功能,对跟踪信息的管理和使用已经变得非常便利.但是,在ELK平台中的数据分析 ...
- Spring Cloud构建微服务架构:分布式服务跟踪(跟踪原理)
通过上一篇<分布式服务跟踪(入门)>的例子,我们已经通过Spring Cloud Sleuth往微服务应用中添加了实现分布式跟踪具备的基本要素.下面通过本文来详细说说实现分布式服务跟踪的一 ...
- Spring Cloud构建微服务架构:分布式配置中心【Dalston版】
Spring Cloud Config是Spring Cloud团队创建的一个全新项目,用来为分布式系统中的基础设施和微服务应用提供集中化的外部配置支持,它分为服务端与客户端两个部分.其中服务端也称为 ...
- Spring Cloud构建微服务架构:服务容错保护(Hystrix断路器)
断路器 断路器模式源于Martin Fowler的Circuit Breaker一文."断路器"本身是一种开关装置,用于在电路上保护线路过载,当线路中有电器发生短路时," ...
- Spring Cloud构建微服务架构(七)消息总线(续:Kafka)
Spring Cloud Bus除了支持RabbitMQ的自动化配置之外,还支持现在被广泛应用的Kafka.在本文中,我们将搭建一个Kafka的本地环境,并通过它来尝试使用Spring Cloud B ...
- Spring Cloud构建微服务架构:服务容错保护(Hystrix服务降级)【Dalston版】
前言 在微服务架构中,我们将系统拆分成了一个个的服务单元,各单元应用间通过服务注册与订阅的方式互相依赖.由于每个单元都在不同的进程中运行,依赖通过远程调用的方式执行,这样就有可能因为网络原因或是依赖服 ...
- Spring Cloud构建微服务架构:服务容错保护(Hystrix依赖隔离)【Dalston版】
前言 在上一篇<Spring Cloud构建微服务架构:服务容错保护(Hystrix服务降级)>中,我们已经体验了如何使用@HystrixCommand来为一个依赖资源定义服务降级逻辑.实 ...
- Spring Cloud构建微服务架构:服务容错保护(Hystrix断路器)【Dalston版】
前言 在前两篇<Spring Cloud构建微服务架构:服务容错保护(Hystrix服务降级)>和<Spring Cloud构建微服务架构:服务容错保护(Hystrix依赖隔离)&g ...
- Spring Cloud构建微服务架构:Hystrix监控面板【Dalston版】
在上一篇<服务容错保护(hystrix断路器)>的介绍中,我们提到断路器是根据一段时间窗内的请求情况来判断并操作断路器的打开和关闭状态的.而这些请求情况的指标信息都是HystrixComm ...
最新文章
- ef关联多实体查询_Mybatis基本知识十二:关联关系查询之延迟加载:侵入式延迟加载...
- IT员工的“脑出血”
- 通过注册表修改IE的Internet选项
- 机房定期巡检报告报告,全面详实,可以参考
- C#实现treeview节点上下左右自由移动
- 软件分享:Everthing
- debugger位置不对_console / debugger / alter
- 求职简历计算机应用基础,计算机应用基础第3章 Word基本应用—制作求职简历.ppt...
- latex图片的子标题放在中间
- 华为交换机RRPP单环配置
- Image segmentation of nasopharyngeal carcinoma using 3D CNN with long-range skip connection and mult
- Kali安装的一些常用软件
- 中南大学实验室安全知识 网上学习6小时的小工具,小技巧
- Nature综述:临床宏基因组学的应用与挑战
- MQL4编程初探:从零开始学习EA编写
- 经典智力题:猜牌问题
- 妳不能不知道的部落格(zz)
- 远程办公主题的微信公众号图文排版有小技巧?
- 一文看懂Linux网络管理
- 手机长曝光是什么意思_干货!教你实现手机长曝光拍摄~
热门文章
- python3 多进程库 multiprocessing 使用简介
- python3 中 布尔 bool 类型转换
- c++中使用Tesseract-OCR
- 键盘的扫描码虚拟码概念 常见Windows键盘按键虚拟码
- FreeNas安装、初始化和存储池设置
- (四)Amazon Lightsail 部署LAMP应用程序之扩展PHP前端
- 新手建议学php吗,关于PHP新手学习的一些指导和建议,新手来我的
- Android之 AndroidManifest xml 文件解析
- 网页开发需要先学java吗_先学java还是javascript?
- 中随机打乱序列的函数_提前准备,方能“随机”应对,人生不悔