前言

在日常使用ASP.NET Core的开发或学习中,如果有需要使用链路跟踪系统,大多数情况下会优先选择SkyAPM。我们之前也说过SkyAPM设计确实比较优秀,巧妙的利用DiagnosticSource诊断跟踪日志,可以做到对项目无入侵方式的集成。其实还有一款比较优秀的链路跟踪系统,也可以支持ASP.NET Core,叫Zipkin。它相对于SkyWalking来说相对轻量级,使用相对来说比较偏原生的方式,而且支持Http的形式查询和提交链路数据。因为我们总是希望能拥有多一种的解决方案方便对比和参考,所以接下来我们就来学习一下关于Zipkin的使用方式。

Zipkin简介

Zipkin是由Twitter开源的一款基于Java语言开发的分布式实时数据追踪系统(Distributed Tracking System),其主要功能是采集来自各个系统的实时监控数据。该系统让开发者可通过一个 Web 前端轻松的收集和分析数据,例如用户每次请求服务的处理时间等,可方便的监测系统中存在的瓶颈。它大致可以分为三个核心概念

  • 首先是上报端,它主要通过代码的形式集成到程序中,用于上报Trace数据到Collector端。

  • Collector负责接收客户端发送过来的数据,保存到内存或外部存储系统中,供UI展示。

  • 存储端可以是基于zipkin内存完全不依赖外部存储的In-Memory形式或依赖外部存储系统的形式,一般采用外部存储系统存储链路数据,毕竟内存有限。它可支持的存储数据库有MySQL、Cassandra、Elasticsearch。

  • UI负责展示采集的链路数据,及系统之间的依赖关系。
    相对来说还是比较清晰的,如果用一张图表示整体架构的话,大致如下图所示(图片来源于网络)在学习链路跟踪的过程中会设计到相关概念,我们接下来介绍链路跟踪几个相关的概念

  • TranceId,一般一次全局的请求会有一个唯一的TraceId,用于代表一次唯一的请求。比如我请求了订单管理系统,而订单管理系统内部还调用了商品管理系统,而商品管理系统还调用了缓存系统或数据库系统。但是对全局或外部来说这是一次请求,所以会有唯一的一个TraceId。

  • SpanId,虽然全局的来说是一次大的请求,但是在这个链路中内部间还会发起别的请求,这种内部间的每次请求会生成一个SpanId。

  • 如果将整条链路串联起来的话,我们需要记录全局的TraceId,代表当前节点的SpanId和发起对当前节点调用的的父级ParentId。
    然后基于链路跟踪的核心概念,然后介绍一下Zipkin衍生出来了几个相关概念

  • cs:Clent Sent 客户端发起请求的时间,比如 dubbo 调用端开始执行远程调用之前。

  • cr:Client Receive 客户端收到处理完请求的时间。

  • ss:Server Receive 服务端处理完逻辑的时间。

  • sr:Server Receive 服务端收到调用端请求的时间。

sr - cs = 请求在网络上的耗时
ss - sr = 服务端处理请求的耗时
cr - ss = 回应在网络上的耗时
cr - cs = 一次调用的整体耗时

关于zipkin概念相关的就介绍这么多,接下来我们介绍如何部署Zipkin。

部署ZipKin

关于Zipkin常用的部署方式大概有两种,一种是通过下载安装JDK,然后运行zipkin.jar的方式,另一种是基于Docker的方式。为了方便我采用的是基于Docker的方式部署,因为采用原生的方式去部署还需要安装JDK,而且操作相对比较麻烦。咱们上面说过,虽然Zipkin可以将链路数据存放到内存中,但是这种操作方式并不实用,实际使用过程中多采用ElasticSearch存储链路数据。所以部署的时候需要依赖Zipkin和ElasticSearch,对于这种部署形式采用docker-compose的方式就再合适不过了,大家可以在Zipkin官方Github中找到docker的部署方式,地址是https://github.com/openzipkin/zipkin/tree/master/docker,官方使用的方式相对比较复杂,下载下来docker-compose相关文件之后我简化了它的使用方式,最终修改如下

version: "3.6"
services:elasticsearch:# 我使用的是7.5.0版本image: elasticsearch:7.5.0container_name: elasticsearchrestart: always#暴露es端口ports:- 9200:9200environment:- discovery.type=single-node- bootstrap.memory_lock=true#es有内存要求- "ES_JAVA_OPTS=-Xms512m -Xmx512m"ulimits:memlock:soft: -1hard: -1networks:default:aliases:- elasticsearchzipkin:image: openzipkin/zipkincontainer_name: zipkinrestart: alwaysnetworks:default:aliases:- zipkinenvironment:#存储类型为es- STORAGE_TYPE=elasticsearch#es地址- ES_HOSTS=elasticsearch:9200ports:- 9411:9411#依赖es所以在es启动完成后在启动zipkindepends_on:- elasticsearch

通过docker-compose运行编辑后的yaml文件,一条指令就可以运行起来

docker-compose -f docker-compose-elasticsearch7.yml up

其中-f是指定文件名称,如果是docker-compose.yml则可以直接忽略文件名称,当shell中出现如下界面并且在浏览器中输入http://localhost:9411/zipkin/出现如图所示,则说明Zikpin启动成功

整合ASP.NET Core

ZipKin启动成功之后,我们就可以将程序中的数据采集到Zipkin中去了,我新建了两个ASP.NET Core的程序,一个是OrderApi,另一个是ProductApi方便能体现出调用链路,其中OrderApi调用ProductApi接口,在两个项目中分别引入Zipkin依赖包

<PackageReference Include="zipkin4net" Version="1.5.0" />
<PackageReference Include="zipkin4net.middleware.aspnetcore" Version="1.5.0" />

其中zipkin4net为核心包,zipkin4net.middleware.aspnetcore是集成ASP.NET Core的程序包。然后我们在Startup文件中添加如下方法

public void RegisterZipkinTrace(IApplicationBuilder app, ILoggerFactory loggerFactory, IHostApplicationLifetime lifetime)
{lifetime.ApplicationStarted.Register(() =>{//记录数据密度,1.0代表全部记录TraceManager.SamplingRate = 1.0f;//链路日志var logger = new TracingLogger(loggerFactory, "zipkin4net");//zipkin服务地址和内容类型var httpSender = new HttpZipkinSender("http://localhost:9411/", "application/json");var tracer = new ZipkinTracer(httpSender, new JSONSpanSerializer(), new Statistics());var consoleTracer = new zipkin4net.Tracers.ConsoleTracer();TraceManager.RegisterTracer(tracer);TraceManager.RegisterTracer(consoleTracer);TraceManager.Start(logger);});//程序停止时停止链路跟踪lifetime.ApplicationStopped.Register(() => TraceManager.Stop());//引入zipkin中间件,用于跟踪服务请求,这边的名字可自定义代表当前服务名称app.UseTracing(Configuration["nacos:ServiceName"]);
}

然后我们在Configure方法中调用RegisterZipkinTrace方法即可。由于我们要在OrderApi项目中采用HttpClient的方式调用ProductAPI,默认zipkin4net是支持采集HttpClient发出请求的链路数据(由于在ProductApi中我们并不发送Http请求,所以可以不用集成一下操作),具体集成形式如下,如果使用的是HttpClientFactory的方式,在ConfigureServices中配置如下

public void ConfigureServices(IServiceCollection services)
{//由于我使用了Nacos作为服务注册中心services.AddNacosAspNetCore(Configuration);services.AddScoped<NacosDiscoveryDelegatingHandler>();services.AddHttpClient(ServiceName.ProductService,client=> {client.BaseAddress = new Uri($"http://{ServiceName.ProductService}");}).AddHttpMessageHandler<NacosDiscoveryDelegatingHandler>()//引入zipkin trace跟踪httpclient请求,名称配置当前服务名称即可.AddHttpMessageHandler(provider =>TracingHandler.WithoutInnerHandler(Configuration["nacos:ServiceName"]));services.AddControllers();
}

如果是直接是使用HttpClient的形式调用则可以采用以下方式

using (HttpClient client = new HttpClient(new TracingHandler("OrderApi")))
{
}

然后我们在OrderApi中写一段调用ProductApi的代码

[Route("orderapi/[controller]")]
public class OrderController : ControllerBase
{private List<OrderDto> orderDtos = new List<OrderDto>();private readonly IHttpClientFactory _clientFactory;public OrderController(IHttpClientFactory clientFactory){orderDtos.Add(new OrderDto { Id = 1, TotalMoney=222,Address="北京市",Addressee="me",From="淘宝",SendAddress="武汉" });_clientFactory = clientFactory;}/// <summary>/// 获取订单详情接口/// </summary>/// <param name="id">订单id</param>/// <returns></returns>[HttpGet("getdetails/{id}")]public async Task<OrderDto> GetOrderDetailsAsync(long id){OrderDto orderDto = orderDtos.FirstOrDefault(i => i.Id == id);if (orderDto != null){OrderDetailDto orderDetailDto = new OrderDetailDto{Id = orderDto.Id,TotalMoney = orderDto.TotalMoney,Address = orderDto.Address,Addressee = orderDto.Addressee,From = orderDto.From,SendAddress = orderDto.SendAddress};//调用ProductApi服务接口var client = _clientFactory.CreateClient(ServiceName.ProductService);var response = await client.GetAsync($"/productapi/product/getall");var result = await response.Content.ReadAsStringAsync();orderDetailDto.Products = JsonConvert.DeserializeObject<List<OrderProductDto>>(result);return orderDetailDto;}return orderDto;}
}

在ProductApi中我们只需要编写调用RegisterZipkinTrace方法即可,和OrderApi一样,我们就不重复粘贴了。因为ProductApi不需要调用别的服务,所以可以不必使用集成HttpClient,只需要提供简单的接口即可

[Route("productapi/[controller]")]
public class ProductController : ControllerBase
{private List<ProductDto> productDtos = new List<ProductDto>();public ProductController(){productDtos.Add(new ProductDto { Id = 1,Name="酒精",Price=22.5m });productDtos.Add(new ProductDto { Id = 2, Name = "84消毒液", Price = 19.9m });}/// <summary>/// 获取所有商品信息/// </summary>/// <returns></returns>[HttpGet("getall")]public IEnumerable<ProductDto> GetAll(){return productDtos;}
}

启动这两个项目,调用OrderApi的getdetails接口,完成后打开zipkin界面点击进去可查看链路详情
总结起来核心操作其实就两个,一个是在发送请求的地方,使用TracingHandler记录发起端的链路情况,然后在接收请求的服务端使用UseTracing记录来自于客户端请求的链路情况。

改进集成方式

其实在上面的演示中,我们可以明显的看到明显的不足,就是很多时候其实我们没办法去设置HttpClient相关的参数的,很多框架虽然也是使用的HttpClient或HttpClientFactory相关,但是在外部我们没办法通过自定义的方式去设置他们的相关操作,比如Ocelot其实也是使用HttpClient相关发起的转发请求,但是对外我们没办法通过我们的程序去设置HttpClient的参数。还有就是在.Net Core中WebRequest其实也是对HttpClient的封装,但是我们同样没办法在我们的程序中给他们传递类似TracingHandler的操作。现在我们从TracingHandler源码开始解读看看它的内部到底是如何工作的,zipkin官方提供的.net core插件zipkin4net的源码位于
https://github.com/openzipkin/zipkin4net,我们找到TracingHandler类所在的位置[点击查看源码????],由于TracingHandler本身就是DelegatingHandler的子类,所以我们主要看SendAsync方法,大致抽离出来如下

protected override async Task<HttpResponseMessage> SendAsync(HttpRequestMessage request, System.Threading.CancellationToken cancellationToken)
{Func<HttpRequestMessage, string> _getClientTraceRpc = _getClientTraceRpc = getClientTraceRpc ?? (request => request.Method.ToString());IInjector<HttpHeaders> _injector = Propagations.B3String.Injector<HttpHeaders>((carrier, key, value) => carrier.Add(key, value));//记录发起请求客户端链路信息的类是ClientTraceusing (var clientTrace = new ClientTrace(_serviceName, _getClientTraceRpc(request))){if (clientTrace.Trace != null){_injector.Inject(clientTrace.Trace.CurrentSpan, request.Headers);}var result = await clientTrace.TracedActionAsync(base.SendAsync(request, cancellationToken));//AddAnnotation是记录标签信息,我们可以在zipkin链路详情中看到这些标签if (clientTrace.Trace != null){//记录请求路径clientTrace.AddAnnotation(Annotations.Tag(zipkinCoreConstants.HTTP_PATH, result.RequestMessage.RequestUri.LocalPath));//记录请求的http方法clientTrace.AddAnnotation(Annotations.Tag(zipkinCoreConstants.HTTP_METHOD, result.RequestMessage.Method.Method));if (_logHttpHost){//记录主机clientTrace.AddAnnotation(Annotations.Tag(zipkinCoreConstants.HTTP_HOST, result.RequestMessage.RequestUri.Host));}if (!result.IsSuccessStatusCode){clientTrace.AddAnnotation(Annotations.Tag(zipkinCoreConstants.HTTP_STATUS_CODE, ((int)result.StatusCode).ToString()));}}return result;}
}

实现方式比较简单,就是借助ClientTrace记录一些标签,其他的相关操作都是由zipkin4net提供的。我们在之前的文章.Net Core中的诊断日志DiagnosticSource讲解中层说道HttpClient底层会有发出诊断日志,我们可以借助这个思路,来对HttpClient进行链路跟踪埋点。
我们结合Microsoft.Extensions.DiagnosticAdapter扩展包定义如下类

public class HttpDiagnosticListener: ITraceDiagnosticListener
{public string DiagnosticName => "HttpHandlerDiagnosticListener";private ClientTrace clientTrace;private readonly IInjector<HttpHeaders> _injector = Propagations.B3String.Injector<HttpHeaders>((carrier, key, value) => carrier.Add(key, value));[DiagnosticName("System.Net.Http.Request")]public void HttpRequest(HttpRequestMessage request){clientTrace = new ClientTrace("apigateway", request.Method.Method);if (clientTrace.Trace != null){_injector.Inject(clientTrace.Trace.CurrentSpan, request.Headers);}}[DiagnosticName("System.Net.Http.Response")]public void HttpResponse(HttpResponseMessage response){if (clientTrace.Trace != null){clientTrace.AddAnnotation(Annotations.Tag(zipkinCoreConstants.HTTP_PATH, response.RequestMessage.RequestUri.LocalPath));clientTrace.AddAnnotation(Annotations.Tag(zipkinCoreConstants.HTTP_METHOD, response.RequestMessage.Method.Method));clientTrace.AddAnnotation(Annotations.Tag(zipkinCoreConstants.HTTP_HOST, response.RequestMessage.RequestUri.Host));if (!response.IsSuccessStatusCode){clientTrace.AddAnnotation(Annotations.Tag(zipkinCoreConstants.HTTP_STATUS_CODE, ((int)response.StatusCode).ToString()));}}}[DiagnosticName("System.Net.Http.Exception")]public void HttpException(HttpRequestMessage request,Exception exception){}
}

ITraceDiagnosticListener是我们方便操作DiagnosticListener定义的接口,接口仅包含DiagnosticName用来表示DiagnosticListener监听的名称,有了这个接口接下来的操作我们会方便许多,接下来我们来看订阅操作的实现。

public class TraceObserver :IObserver<DiagnosticListener>
{private IEnumerable<ITraceDiagnosticListener> _traceDiagnostics;public TraceObserver(IEnumerable<ITraceDiagnosticListener> traceDiagnostics)
{_traceDiagnostics = traceDiagnostics;}public void OnCompleted()
{}public void OnError(Exception error)
{}public void OnNext(DiagnosticListener listener)
{//这样的话我们可以更轻松的扩展其他DiagnosticListener的操作var traceDiagnostic = _traceDiagnostics.FirstOrDefault(i=>i.DiagnosticName==listener.Name);if (traceDiagnostic!=null){//适配订阅listener.SubscribeWithAdapter(traceDiagnostic);}}
}

通过这种操作我们就无需关心如何将自定义的DiagnosticListener订阅类适配到DiagnosticAdapter中去,方便我们自定义其他DiagnosticListener的订阅类,这样的话我们只需注册自定义的订阅类即可。

services.AddSingleton<TraceObserver>();
services.AddSingleton<ITraceDiagnosticListener, HttpDiagnosticListener>();

通过这种改进方式,我们可以解决类似HttpClient封装到框架中,并且我们我们无法通过外部程序去修改设置的时候。比如我们在架构中引入了Ocelot网关,我们就可以采用类似这种方式,在网关层集成zipkin4net。

自定义埋点

通过上面我们查看TracingHandler的源码我们得知埋点主要是通过ClientTrace进行的,它是在发起请求的客户端进行埋点。在服务端埋点的方式我们可以通过TracingMiddleware中间件中的源码查看到[点击查看源码????]叫ServerTrace。有了ClientTrace和ServerTrace我们可以非常轻松的实现一次完整的客户端和服务端埋点,只需要通过它们打上一些标签即可。其实它们都是对Trace类的封装,我们找到它们的源码进行查看

public class ClientTrace : BaseStandardTrace, IDisposable
{public ClientTrace(string serviceName, string rpc){if (Trace.Current != null){Trace = Trace.Current.Child();}Trace.Record(Annotations.ClientSend());Trace.Record(Annotations.ServiceName(serviceName));Trace.Record(Annotations.Rpc(rpc));}public void Dispose(){Trace.Record(Annotations.ClientRecv());}
}public class ServerTrace : BaseStandardTrace, IDisposable
{public override Trace Trace{get{return Trace.Current;}}public ServerTrace(string serviceName, string rpc){Trace.Record(Annotations.ServerRecv());Trace.Record(Annotations.ServiceName(serviceName));Trace.Record(Annotations.Rpc(rpc));}public void Dispose(){Trace.Record(Annotations.ServerSend());}
}

因此,如果你想通过更原始的方式去记录跟踪日志可以采用如下方式

var trace = Trace.Create();
trace.Record(Annotations.ServerRecv());
trace.Record(Annotations.ServiceName(serviceName));
trace.Record(Annotations.Rpc("GET"));
trace.Record(Annotations.ServerSend());
trace.Record(Annotations.Tag("http.url", "<url>"));

示例Demo

由于上面说的比较多,而且有一部分关于源码的解读,为了防止由本人文笔有限,给大家带来理解误区,另一方面也为了更清晰的展示Zipkin的集成方式,我自己做了一套Demo,目录结构如下
ApiGateway为网关项目可以转发针对OrderApi的请求,OrderApi和ProductApi用于模拟业务系统,这三个项目都集成了zipkin4net链路跟踪,他们之间是通过Nacos实现服务的注册和发现。这个演示Demo我本地是可以直接运行成功的,如果有下载下来运行不成功的,可以评论区给我留言。由于博客园有文件上传大小的限制,所以我将Demo上传到了百度网盘中
下载链接: https://pan.baidu.com/s/1jPHyXKV9DAK_oEYQz3xtzA 提取码: a7u5

总结

以上就是关于Zipkin以及ASP.NET Core整合Zipkin的全部内容,希望能给大家带来一定的帮助。如果你有实际需要也可以继续自行研究。Zipkin相对于我们常用的Skywalking而且,它的使用方式比较原生,许多操作都需要自行通过代码操作,而SkyAPM可以做到对代码无入侵的方式集成。Skywalking是一款APM(应用性能管理),链路跟踪只是它功能的一部分。而Zipkin是一款专注于链路跟踪的系统,个人感觉就链路跟踪这一块而言,Zipkin更轻量级(如果都使用ES作为存储的数据库的话,Skywalking会生成一堆索引,Zipkin默认是每天创建一个索引),而且链路信息检索、详情展示、链路数据上报形式等相对于Skywalking形式也更丰富一些。但是整体而言Skywalking更强大,比如应用监控、调用分析、集成方式等。技术并无好坏之分,适合自己的才是更好的,多一个解决方案,就多一个解决问题的思路,我觉得这是对于我们程序开发人员来说都应该具备的认知。

????欢迎扫码关注我的公众号????

ASP.NET Core整合Zipkin链路跟踪相关推荐

  1. Spring Cloud--Sleuth+Zipkin 链路跟踪/订单的流量削峰

    Sleuth 产生链路跟踪日志 A --> B --> C A的id会被当做整条链路的id 默认只有10%的日志会发到Zipkin A, USFHSAJFGVDMJ, USFHSAJFGV ...

  2. springcloud1.5.9+zipkin链路跟踪配置

    在springcloud工程中添加链路跟踪,提高运维能力 首先说下整体逻辑,springcloud中提供了sleuth作为链路跟踪框架,能够很好的和zipkin结合.服务中集成zipkin后,会生成相 ...

  3. Spring cloud(Finchley)微服务框架,sleuth整合zipkin链路追踪失效的问题

    一.首先说问题: 1.springCloud在使用链路追踪组件sleuth整合zipkin的过程中链路追踪信息切都是正常: 2.微服务太多需要使用组件Config对每个微服务的的配置文件进行统一管理: ...

  4. ASP.NET Core 整合Autofac和Castle实现自动AOP拦截

    前言: 除了ASP.NETCore自带的IOC容器外,我们还可以使用其他成熟的DI框架,如Autofac,StructureMap等(笔者只用过Unity,Ninject和Castle). 1.ASP ...

  5. kong插件应用(熔断 限流,黑白名单,认证(basic,key,jwt,hmac,),授权,加密,zipkin链路跟踪,日志, prometheus可视化, 爬虫控制插件)

    全栈工程师开发手册 (作者:栾鹏) 架构系列文章 kong安装部署以及kong-dashboard参考:https://blog.csdn.net/luanpeng825485697/article/ ...

  6. ASP.NET Core使用HostingStartup增强启动操作

    概念 在ASP.NET Core中我们可以使用一种机制来增强启动时的操作,它就是HostingStartup.如何叫"增强"操作,相信了解过AOP概念的同学应该都非常的熟悉.我们常 ...

  7. Spring Cloud Sleuth+Zipkin 构建微服务链路跟踪系统

    什么是链路跟踪系统? 在微服务中,多个服务分布在不同物理机器上,各个服务之间相互调用.如何清晰地记录服务调用过程,并在出现问题的时候能够通过查看日志和服务之间的调用关系来定位问题,这样的系统就叫做链路 ...

  8. ASP.NET Core在 .NET 5 Preview 7的更新

    .NET 5 Preview 7现在可以用了,可以进行评估了.这是此版本中的新增功能: Blazor WebAssembly应用程序现在针对.NET 5 更新了Blazor WebAssembly的调 ...

  9. SpringCloud版本Hoxton SR5 --- 第八讲:Sleuth 分布式链路跟踪 整合Zipkin + Elasticsearch持久化

    传送门:SpringCloud版本Hoxton SR5 --- 第一讲:认识 先看Sleuth.Zipkin.Elasticsearch 可以完成的功能,或者说他在项目中的定位和作用. Sleuth比 ...

最新文章

  1. TVM Reduction降低算力
  2. nodejs文件上传报错总结
  3. php编程题试题和答案,比较基础的php面试题及答案-编程题部分
  4. python cgi root运行_如何执行Python CGI脚本?
  5. 新的JavaScript库邀请程序员使用Canvas进行创意编程
  6. Fiddler之断点调试(模拟器)
  7. 实验十——一维数组的定义及引用
  8. python(matplotlib5)——Contours 等高线图
  9. 一个页面同时发起多个ajax请求,会出现阻塞情况
  10. 撤销EXCLE工作表保护密码
  11. oracle中的自带函数,求完整的ORACLE自带函数文档
  12. android自动生成cardview,学习使用Material Design控件(三)使用CardView实现卡片效果...
  13. webstorm使用插件 statistic 统计代码
  14. linux单用户模式single=1,Linux 单用户模式single mode
  15. windows 与linux实现文件共享
  16. 包含所有的计算机视频教程
  17. 一键生成sprite(雪碧图)以及 动态加载1X 2X3X 图片
  18. tomcat安装以及部署jpress
  19. MySQL-数据库查询语言
  20. 戴尔g7 linux,颜值高性能强大 戴尔G7游戏本评测详解

热门文章

  1. 解决安装Weblogic domain卡住问题(Primeton BPS)
  2. iOS回顾笔记( 02 ) -- 由九宫格布局引发的一系列“惨案”
  3. IOS-网络(大文件下载)
  4. Java设计模式----策略模式(Strategy)
  5. How to change the text color in the terminal
  6. Java设计模式-状态模式(State)
  7. workaround for %33 texture memory bug
  8. 静态注册BroadcastReceiver内部类
  9. 哪个app最费电_微波炉和烤箱,买哪个划算?
  10. OPC Client “failed to execute OPCENUM” 解决方法