Node.js 应用全链路追踪技术——全链路信息存储
作者:vivo 互联网前端团队- Yang Kun
本文是上篇文章《Node.js 应用全链路追踪技术——全链路信息获取》的后续。阅读完,再来看本文,效果会更佳哦。
本文主要介绍在Node.js应用中, 如何用全链路信息存储技术把全链路追踪数据存储起来,并进行相应的展示,最终实现基于业界通用 OpenTracing 标准的 Zipkin 的 Node.js 方案。
一、背景
目前业界主流的做法是使用分布式链路跟踪系统,其理论基础是来自 Google 的一篇论文 《大规模分布式系统的跟踪系统》。
论文如下图所示:
在此理论基础上,诞生了很多优秀的实现,如 zipkin、jaeger 。同时为了保证 API 兼容,他们都遵循 OpenTracing 标准。那 OpenTracing 标准是什么呢?
OpenTracing 翻译为开发分布式追踪,是一个轻量级的标准化层,它位于应用程序/类库和链路跟踪系统之间的一层。 这一层可以用下图表示:
从上图可以知道, OpenTracing 具有以下优势:
统一了 API ,使开发人员能够方便的添加追踪系统的实现。
OpenTracing 已进入 CNCF ,正在为全球的分布式链路跟踪系统,提供统一的模型和数据标准。
大白话解释下:它就像手机的接口标准,当今手机基本都是 typeC 接口,这样方便各种手机能力的共用。因此,做全链路信息存储,需要按照业界公认的 OpenTracing 标准去实现。
本篇文章将通过已有的优秀实现 —— zipkin ,来给大家阐述 Node.js 应用如何对接分布式链路跟踪系统。
二、zipkin
2.1 zipkin 是什么?
zipkin 是 Twitter 基于 Google 的分布式追踪系统论文的开发实现,其遵循 OpenTracing 标准。
zipkin 用于跟踪分布式服务之间的应用数据链路。
2.2 zipkin 架构
官方文档上的架构如下图所示:
为了更好的理解,我这边对架构图进行了简化,简化架构图如下所示:
从上图可以看到,分为三个部分:
第一部分:全链路信息获取,我们不使用 zipkin 自带的全链路信息获取,我们使用 zone-context 去获取全链路信息
第二部分:传输层, 使用 zipkin 提供的传输 api ,将全链路信息传递给 zipkin
第三部分: zipkin 核心功能,各个模块介绍如下:
collector 就是信息收集器,作为一个守护进程,它会时刻等待客户端传递过来的追踪数据,对这些数据进行验证、存储以及创建查询需要的索引。
storage 是存储组件。zipkin 默认直接将数据存在内存中,此外支持使用 ElasticSearch 和 MySQL 。
search 是一个查询进程,它提供了简单的 JSON API 来供外部调用查询。
web UI 是 zipkin 的服务端展示平台,主要调用 search 提供的接口,用图表将链路信息清晰地展示给开发人员。
至此, zipkin 的整体架构就介绍完了,下面我们来进行 zipkin 的环境搭建。
2.3 zipkin 环境搭建
采用 docker 搭建, 这里我们使用 docker 中的 docker-compose 来快速搭建 zipkin 环境。
docker-compose.yml 文件内容如下:
version: '3.8'
services:elasticsearch:image: docker.elastic.co/elasticsearch/elasticsearch:7.5.0container_name: elasticsearchrestart: alwaysports:- 9200:9200healthcheck:test: ["CMD-SHELL", "curl --silent --fail localhost:9200/_cluster/health || exit 1"]interval: 30stimeout: 10sretries: 3start_period: 40senvironment:- discovery.type=single-node- bootstrap.memory_lock=true- "ES_JAVA_OPTS=-Xms512m -Xmx512m"- TZ=Asia/Shanghaiulimits:memlock:soft: -1hard: -1zipkin:image: openzipkin/zipkin:2.21container_name: zipkindepends_on:- elasticsearchlinks:- elasticsearchrestart: alwaysports:- 9411:9411environment:- TZ=Asia/Shanghai- STORAGE_TYPE=elasticsearch- ES_HOSTS=elasticsearch:9200
在上面文件所在的目录下执行 docker-compose up -d 即可完成本地搭建。
搭建完成后,在浏览器中打开地址 http://localhost:9411 ,会看到如下图所示页面:
接着打开地址 http://localhost:9200 ,会看到如下图所示页面:
至此, zipkin 的本地环境就搭建好啦。 下面我就将介绍 Node.js 应用如何对接 zipkin。
三、Node.js 接入 zipkin
3.1 搞定全链路信息获取
这个我在 《Node.js 应用全链路追踪技术——全链路信息获取》 文章中,已经详细阐述了,如何去获取全链路信息。
3.2 搞定传输层
因为 zipkin 是基于 OpenTracing 标准实现的。因此我们只要搞定了 zipkin 的传输层,也就搞定了其他主流分布式追踪系统。
这里我们用到了 zipkin 官方提供的两个 npm 包,分别是:
zipkin
zipkin-transport-http
zipkin 包是官方对支持 Node.js 的核心包。 zipkin-transport-http 包的作用是将数据通过 HTTP 异步发送到 zipkin 。
下面我们将详细介绍在传输层,如何将将数据发送到 zipkin 。
3.3 传输层基础封装
核心代码实现和相关注释如下:
const {BatchRecorder,Tracer,// ExplicitContext,jsonEncoder: { JSON_V1, JSON_V2 },
} = require('zipkin')
const { HttpLogger } = require('zipkin-transport-http')// const ctxImpl = new ExplicitContext();// 配置对象
const options = {serviceName: 'zipkin-node-service',targetServer: '127.0.0.1:9411',targetApi: '/api/v2/spans',jsonEncoder: 'v2'
}// http 方式传输
async function recorder ({ targetServer, targetApi, jsonEncoder }) => new BatchRecorder({logger: new HttpLogger({endpoint: `${targetServer}${targetApi}`,jsonEncoder: (jsonEncoder === 'v2' || jsonEncoder === 'V2') ? JSON_V2 : JSON_V1,})
})// 基础记录
const baseRecorder = await recorder({targetServer: options.targetServertargetApi: options.targetApijsonEncoder: options.jsonEncoder
})
至此,传输层的基础封装就完成了,我们抽离了 baseRecorder 出来,下面将会把全链路信息接入到传输层中。
3.4 接入全链路信息
这里说下官方提供的接入 SDK ,代码如下:
const { Tracer } = require('zipkin')
const ctxImpl = new ExplicitContext()
const tracer = new Tracer({ ctxImpl, recorder: baseRecorder })
// 还要处理请求头、手动层层传递等事情
上面的方式缺点比较明显,需要额外去传递一些东西,这里我们使用上篇文章提到的 Zone-Context , 代码如下:
const zoneContextImpl = new ZoneContext()
const tracer = new Tracer({ zoneContextImpl, recorder: baseRecorder })
// 仅此而已,不再做额外处理
对比两者,明显发现, Zone-Context 的实现方式更加的隐式,对代码入侵更小。这也是单独花一篇文章介绍 Zone-Context 技术原理的价值体现。
自此,我们完成了传输层的适配, Node.js 应用接入 zipkin 的核心步骤基本完成。
3.5 搞定 zipkin 收集、存储、展示
这部分中的收集、展示功能, zipkin 官方自带完整实现,无需进行二次开发。存储这块,提供了 MySQL 、 Elasticsearch 等接入方式。可以根据实际情况去做相应的接入。本文采用 docker-compose 集成了 ElasticSearch 。
四、总结
自此,我们已经完成基于业界通用 OpenTracing 标准实现的 zipkin 的 Node.js 方案。希望大家看完这两篇文章,对 Node.js 全链路追踪,有一个整体而清晰的认识。
参考资料:
zipkin 官网
Node.js 应用全链路追踪技术——全链路信息存储相关推荐
- Spring Cloud —— 链路追踪技术
导航 一.什么是链路追踪 二.Spring Cloud Sleuth 2.1 相关概念 三.Sleuth 入门案例 四.Zipkin 的集成 4.1 Zipkin 介绍 4.2 Zipkin 服务端安 ...
- 怎么理解分布式链路追踪技术?
▲ 点击上方"分布式实验室"关注公众号 回复"1"抽取纸质技术书 - 1 - 为什么需要链路追踪 在学习分布式链路追踪之前,我们需要先理解这项技术产生的背景,以 ...
- 如何理解分布式链路追踪技术
什么是链路追踪?微服务引发了怎样的问题? 在深入了解分布式链路追踪技术之前,我们需要先理解这项技术产生的背景,以及它能够帮我们解决哪些棘手的问题. 提到分布式链路追踪,我们要先提到微服务.相信很多人都 ...
- 链路追踪技术的应用及实践
分布式架构的兴起推动了一些新技术的发展.其中链路追踪技术以其在APM领域的优异表现,成为了分布式架构中不可或缺的一部分.在本文中,我们将谈谈它的一些经典应用场景,以及笔者所在的团队如何利用链路追踪技术 ...
- 【全链路追踪】全链路追踪介绍
什么是链路追踪? 链路追踪是一种针对分布式架构下实现请求链路可视化监控的一种技术. 它的核心目的就是去了解分布式系统中的请求调用行为,从而从整体到局部详细展示各项系统指标. 实现故障的快速定位,缩短故 ...
- node.js 静态属性_如何使用静态站点和Node.js开发和部署第一个全栈式Web应用程序
node.js 静态属性 This tutorial will show you how to convert a static website that uses HTML, CSS and Jav ...
- 链路追踪php,easyswoole链路追踪
Tracker Easyswoole提供了一个基础的追踪组件,方便用户实现基础的服务器状态监控,与调用链记录. 组件要求 php: >=7.1.0 ext-swoole: ^4.4.0 easy ...
- 分布式链路追踪技术对比
常见开源产品 cat, zipkin, pinpoint , skywalking cat CAT(Central Application Tracking)基于Java开发的实时监控平台,主要包 ...
- 非AJAX的CRUD,使用Node.js+Express+ejs的动态技术--图书管理系统之查询操作
在Hbulider的工具中,首先要安装nodeclipse插件, 创建项目完毕,其目录结构为:(如下图) 在routes下创建一个books.js,其代码如下: var books=[{number: ...
最新文章
- 3、Swing布局管理器
- 修改网站首页批处理_几个神奇的批处理,万事不求人!
- 无配置文件下使用log4net
- Linux下搭建iSCSI共享存储
- 12.万无一失:网站的高可用架构
- Arduino字符串操作函数
- SPSS——描述性统计分析——比率分析
- 如何使用Arduino UNO开发板编程ATtiny85
- 深入浅出Mybatis系列(五)Mybatis事务篇
- AndroidUI:Android的Holo Theme
- java特别描述错误的是,关于javac命令作用的描述错误的是
- ajax后台数据怎么返回,后台获取ajax参数 怎么返回数据
- LSMW 批量更改BOM 成本核算标识相关标识 特殊处理
- vue导出excel加一个进度条_Vue实现在前端导出Excel
- Android Style和自定义属性
- MapX 简介 (转)
- inventor如何钣金出弧面_Inventor钣金设计教程
- ContentPlaceHolder
- java图书馆登陆代码_图书馆系统(登录设计)
- 基于数据安全的风险评估-脆弱性识别
热门文章
- Centos 常用命令小记
- 疑似...微软拼音输入法 2007 Bug?
- C. Restore the Array
- [IOS APP]慧悟禅故事-有声小说
- easy-excel导入
- 【科学文献计量】中英文文献标题及摘要用词情感分析与可视化
- spass做回归分析
- 反向恢复时间trr的影响
- python set转为list_如何将一个集合转换成python中的列表?(How to convert a set to a list in python?)...
- Linux从基础入门-服务器部署应用(一)Linu基础介绍