prometheus变量_TiKV 源码解析系列文章(四)Prometheus(下)
本文为 TiKV 源码解析系列的第四篇,接上篇继续为大家介绍 rust-prometheus。上篇主要介绍了基础知识以及最基本的几个指标的内部工作机制,本篇会进一步介绍更多高级功能的实现原理。
与上篇一样,以下内部实现都基于本文发布时最新的 rust-prometheus 0.5 版本代码,目前我们正在开发 1.0 版本,API 设计上会进行一些简化,实现上出于效率考虑也会和这里讲解的略微有一些出入,因此请读者注意甄别。
指标向量(Metric Vector)
Metric Vector 用于支持带 Label 的指标。由于各种指标都可以带上 Label,因此 Metric Vector 本身实现为了一种泛型结构体,Counter
、Gauge
和 Histogram
在这之上实现了 CounterVec
、GaugeVec
和 HistogramVec
。Metric Vector 主要实现位于 src/vec.rs。
以 HistogramVec
为例,调用 HistogramVec::with_label_values
可获得一个 Histogram
实例,而 HistogramVec
定义为:
pub type HistogramVec = MetricVec;pub struct MetricVec {pub(crate) v: Arc<MetricVecCore<T>>,
}implMetricVec {pub fn with_label_values(&self, vals: &[&str]) -> T::M {self.get_metric_with_label_values(vals).unwrap()
}
}
因此 HistogramVec::with_label_values
的核心逻辑其实在 MetricVecCore::get_metric_with_label_values
。这么做的原因是为了让 MetricVec
是一个线程安全、可以被全局共享但又不会在共享的时候具有很大开销的结构,因此将内部逻辑实现在 MetricVecCore
,外层(即在 MetricVec
)套一个 Arc
后再提供给用户。进一步可以观察 MetricVecCore
的实现,其核心逻辑如下:
pub trait MetricVecBuilder: Send + Sync + Clone {type M: Metric;type P: Describer + Sync + Send + Clone;fn build(&self, &Self::P, &[&str]) -> Result<Self::M>;
}pub(crate) struct MetricVecCore {pub children: RwLock<HashMap, T::M>>,// Some fields are omitted.
}implMetricVecCore {// Some functions are omitted.pub fn get_metric_with_label_values(&self, vals: &[&str]) -> Result<:m> {let h = self.hash_label_values(vals)?;if let Some(metric) = self.children.read().get(&h).cloned() {return Ok(metric);
}self.get_or_create_metric(h, vals)
}pub(crate) fn hash_label_values(&self, vals: &[&str]) -> Result<u64> {if vals.len() != self.desc.variable_labels.len() {return Err(Error::InconsistentCardinality(self.desc.variable_labels.len(),
vals.len(),
));
}let mut h = FnvHasher::default();for val in vals {
h.write(val.as_bytes());
}Ok(h.finish())
}fn get_or_create_metric(&self, hash: u64, label_values: &[&str]) -> Result<:m> {let mut children = self.children.write();// Check exist first.if let Some(metric) = children.get(&hash).cloned() {return Ok(metric);
}let metric = self.new_metric.build(&self.opts, label_values)?;
children.insert(hash, metric.clone());Ok(metric)
}
}
现在看代码就很简单了,它首先会依据所有 Label Values 构造一个 Hash,接下来用这个 Hash 在 RwLock>
中查找,如果找到了,说明给定的这个 Label Values 之前已经出现过、相应的 Metric 指标结构体已经初始化过,因此直接返回对应的实例;如果不存在,则要利用给定的 MetricVecBuilder
构造新的指标加入哈希表,并返回这个新的指标。
由上述代码可见,为了在线程安全的条件下实现 Metric Vector 各个 Label Values 具有独立的时间序列,Metric Vector 内部采用了 RwLock
进行同步,也就是说 with_label_values()
及类似函数内部是具有锁的。这在多线程环境下会有一定的效率影响,不过因为大部分情况下都是读锁,因此影响不大。当然,还可以发现其实给定 Label Values 之后调用 with_label_values()
得到的指标实例是可以被缓存起来的,只访问缓存起来的这个指标实例是不会有任何同步开销的,也绕开了计算哈希值等比较占 CPU 的操作。基于这个思想,就有了 Static Metrics,读者可以在本文的后半部分了解 Static Metrics 的详细情况。
另外读者也可以发现,Label Values 的取值应当是一个有限的、封闭的小集合,不应该是一个开放的或取值空间很大的集合,因为每一个值都会对应一个内存中指标实例,并且不会被释放。例如 HTTP Method 是一个很好的 Label,因为它只可能是 GET / POST / PUT / DELETE 等;而 Client Address 则很多情况下并不适合作为 Label,因为它是一个开放的集合,或者有非常巨大的取值空间,如果将它作为 Label 很可能会有容易 OOM 的风险。这个风险在 Prometheus 官方文档中也明确指出了。
整型指标(Integer Metric)
在讲解 Counter / Gauge 的实现时我们提到,rust-prometheus 使用 CAS 操作实现 AtomicF64
中的原子递增和递减,如果改用 atomic fetch-and-add 操作则一般可以取得更高效率。考虑到大部分情况下指标都可以是整数而不需要是小数,例如对于简单的次数计数器来说它只可能是整数,因此 rust-prometheus 额外地提供了整型指标,允许用户自由地选择,针对整数指标情况提供更高的效率。
为了增强代码的复用,rust-prometheus 实际上采用了泛型来实现 Counter
和 Gauge
。通过对不同的 Atomic(如 AtomicF64
、AtomicI64
)进行泛化,就可以采用同一份代码实现整数的指标和(传统的)浮点数指标。
Atomic
trait 定义如下(src/atomic64/mod.rs):
pub trait Atomic: Send + Sync {/// The numeric type associated with this atomic.type T: Number;/// Create a new atomic value.fn new(val: Self::T) -> Self;/// Set the value to the provided value.fn set(&self, val: Self::T);/// Get the value.fn get(&self) -> Self::T;/// Increment the value by a given amount.fn inc_by(&self, delta: Self::T);/// Decrement the value by a given amount.fn dec_by(&self, delta: Self::T);
}
原生的 AtomicU64
、AtomicI64
及我们自行实现的 AtomicF64
都实现了 Atomic
trait。进而,Counter
和 Gauge
都可以利用上 Atomic
trait:
pub struct Value {pub val: P,// Some fields are omitted.
}pub struct GenericCounter {
v: Arc<Value<P>>,
}pub type Counter = GenericCounter;pub type IntCounter = GenericCounter;
本地指标(Local Metrics)
由前面这些源码解析可以知道,指标内部的实现是原子变量,用于支持线程安全的并发更新,但这在需要频繁更新指标的场景下相比简单地更新本地变量仍然具有显著的开销(大约有 10 倍的差距)。为了进一步优化、支持高效率的指标更新操作,rust-prometheus 提供了 Local Metrics 功能。
rust-prometheus 中 Counter 和 Histogram 指标支持 local()
函数,该函数会返回一个该指标的本地实例。本地实例是一个非线程安全的实例,不能多个线程共享。例如,Histogram::local()
会返回 LocalHistogram
。由于 Local Metrics 使用是本地变量,开销极小,因此可以放心地频繁更新 Local Metrics。用户只需定期调用 Local Metrics 的 flush()
函数将其数据定期同步到全局指标即可。一般来说 Prometheus 收集数据的间隔是 15s 到 1 分钟左右(由用户自行配置),因此即使是以 1s 为间隔进行 flush()
精度也足够了。
普通的全局指标使用流程如下图所示,多个线程直接利用原子操作更新全局指标:
本地指标使用流程如下图所示,每个要用到该指标的线程都保存一份本地指标。更新本地指标操作开销很小,可以在频繁的操作中使用。随后,只需再定期将这个本地指标 flush 到全局指标,就能使得指标的更新操作真正生效。
TiKV 中大量运用了本地指标提升性能。例如,TiKV 的线程池一般都提供 Context
变量,Context
中存储了本地指标。线程池上运行的任务都能访问到一个和当前 worker thread 绑定的 Context
,因此它们都可以安全地更新 Context
中的这些本地指标。最后,线程池一般提供 tick()
函数,允许以一定间隔触发任务,在 tick()
中 TiKV 会对这些 Context
中的本地指标进行 flush()
。
Local Counter
Counter
的本地指标 LocalCounter
实现很简单,它是一个包含了计数器的结构体,该结构体提供了与 Counter
一致的接口方便用户使用。该结构体额外提供了 flush()
,将保存的计数器的值作为增量值更新到全局指标:
pub struct GenericLocalCounter {
counter: GenericCounter<P>,
val: P::T,
}pub type LocalCounter = GenericLocalCounter;pub type LocalIntCounter = GenericLocalCounter;implGenericLocalCounter
{// Some functions are omitted.pub fn flush(&mut self) {if self.val == P::T::from_i64(0) {return;
}self.counter.inc_by(self.val);self.val = P::T::from_i64(0);
}
}
Local Histogram
由于 Histogram
本质也是对各种计数器进行累加操作,因此 LocalHistogram
的实现也很类似,例如 observe(x)
的实现与 Histogram
如出一辙,除了它不是原子操作;flush()
也是将所有值累加到全局指标上去:
pub struct LocalHistogramCore {
histogram: Histogram,
counts: Vec,
count: u64,
sum: f64,
}impl LocalHistogramCore {// Some functions are omitted.pub fn observe(&mut self, v: f64) {// Try find the bucket.let mut iter = self
.histogram
.core
.upper_bounds
.iter()
.enumerate()
.filter(|&(_, f)| v <= *f);if let Some((i, _)) = iter.next() {self.counts[i] += 1;
}self.count += 1;self.sum += v;
}pub fn flush(&mut self) {// No cached metric, return.if self.count == 0 {return;
}
{let h = &self.histogram;for (i, v) in self.counts.iter().enumerate() {if *v > 0 {
h.core.counts[i].inc_by(*v);
}
}
h.core.count.inc_by(self.count);
h.core.sum.inc_by(self.sum);
}self.clear();
}
}
静态指标(Static Metrics)
之前解释过,对于 Metric Vector 来说,由于每一个 Label Values 取值都是独立的指标实例,因此为了线程安全实现上采用了 HashMap + RwLock。为了提升效率,可以将 with_label_values
访问获得的指标保存下来,以后直接访问。另外使用姿势正确的话,Label Values 取值是一个有限的、确定的、小的集合,甚至大多数情况下在编译期就知道取值内容(例如 HTTP Method)。综上,我们可以直接写代码将各种已知的 Label Values 提前保存下来,之后可以以静态的方式访问,这就是静态指标。
以 TiKV 为例,有 Contributor 为 TiKV 提过这个 PR:#2765 server: precreate some labal metrics。这个 PR 改进了 TiKV 中统计各种 gRPC 接口消息次数的指标,由于 gRPC 接口是固定的、已知的,因此可以提前将它们缓存起来:
struct Metrics {
kv_get: Histogram,
kv_scan: Histogram,
kv_prewrite: Histogram,
kv_commit: Histogram,// ...
}impl Metrics {fn new() -> Metrics {
Metrics {
kv_get: GRPC_MSG_HISTOGRAM_VEC.with_label_values(&["kv_get"]),
kv_scan: GRPC_MSG_HISTOGRAM_VEC.with_label_values(&["kv_scan"]),
kv_prewrite: GRPC_MSG_HISTOGRAM_VEC.with_label_values(&["kv_prewrite"]),
kv_commit: GRPC_MSG_HISTOGRAM_VEC.with_label_values(&["kv_commit"]),// ...
}
}
}
使用的时候也很简单,直接访问即可:
@@ -102,10 +155,8 @@ fn make_callback() -> (Box, oneshot:
impl tikvpb_grpc::Tikv for Service {
fn kv_get(&self, ctx: RpcContext, mut req: GetRequest, sink: UnarySink) {- let label = "kv_get";- let timer = GRPC_MSG_HISTOGRAM_VEC- .with_label_values(&[label])- .start_coarse_timer();+ const LABEL: &str = "kv_get";+ let timer = self.metrics.kv_get.start_coarse_timer();
let (cb, future) = make_callback();
let res = self.storage.async_get(
这样一个简单的优化可以为 TiKV 提升 7% 的 Raw Get 效率,可以说是很超值了(主要原因是 Raw Get 本身开销极小,因此在指标上花费的时间就显得有一些显著了)。但这个优化方案其实还有一些问题:
1. 代码繁琐,有大量重复的、或满足某些 pattern 的代码;
2. 如果还有另一个 Label 维度,那么需要维护的字段数量就会急剧膨胀(因为每一种值的组合都需要分配一个字段)。
为了解决以上两个问题,rust-prometheus 提供了 Static Metric 宏。例如对于刚才的 TiKV 改进 PR #2765 来说,使用 Static Metric 宏可以简化为:
make_static_metric! {pub struct GrpcMsgHistogram: Histogram {"type" => {
kv_get,
kv_scan,
kv_prewrite,
kv_commit,// ...
},
}
}let metrics = GrpcMsgHistogram::from(GRPC_MSG_HISTOGRAM_VEC);// Usage:
metrics.kv_get.start_coarse_timer();
可以看到,使用宏之后,需要维护的繁琐的代码量大大减少了。这个宏也能正常地支持多个 Label 同时存在的情况。
限于篇幅,这里就不具体讲解这个宏是如何写的了,感兴趣的同学可以观看我司同学最近在 FOSDEM 2019 上的技术分享视频(进度条 19:54 开始介绍 Static Metrics)和 Slide,里面详细地介绍了如何从零开始写出一个这样的宏(的简化版本)。
TiKV 源码解析系列文章
(一)序
(二)raft-rs proposal 示例情景分析
(三)Prometheus(上)
关注 TiKV 的 Rust 语言爱好者们注意啦!
第一届 RustCon Asia 将于 4 月 20 日在北京举办,目前报名通道已经开放。大会为期 4 天,包括 20 日全天和 21 日上午的主题演讲以及 22-23 日的多个主题 workshop 环节。
大会官网:
https://rustcon.asia/
报名参会:
http://www.huodongxing.com/event/6479456003900
了解【更多大会信息】
prometheus变量_TiKV 源码解析系列文章(四)Prometheus(下)相关推荐
- openGauss数据库源码解析系列文章--openGauss简介(一)
openGauss数据库是华为深度融合在数据库领域多年经验,结合企业级场景要求推出的新一代企业级开源数据库.此前,Gauss松鼠会已经发布了openGauss数据库核心技术系列文章,介绍了openGa ...
- openGauss数据库源码解析系列文章——openGauss开发快速入门(二)
在上一篇openGauss数据库源码解析系列文章--openGauss开发快速入门(上)中,我们介绍了openGauss的安装部署方法,本篇将具体介绍openGauss基本使用. 二. openGau ...
- TiKV 源码解析系列文章(二)raft-rs proposal 示例情景分析
作者:屈鹏 本文为 TiKV 源码解析系列的第二篇,按照计划首先将为大家介绍 TiKV 依赖的周边库 raft-rs .raft-rs 是 Raft 算法的 Rust 语言实现.Raft 是分布式领域 ...
- 全网最全Skywalking8.9.1源码解析系列文章
1.本系列文档简介 本系列文章为研究Skywalking-OAP8.9.1版本, 探针Skywalking-java8.9.0时所著,文章内容来源有博客.官网.自己的体会.源代码剖析.测试所得.专业性 ...
- ⭐openGauss数据库源码解析系列文章—— 对象权限管理⭐
在前面文章中介绍过"9.3 角色管理整",本篇我们介绍第9章 安全管理源码解析中"9.4 对象权限管理"的相关精彩内容介绍. 9.4 对象权限管理 权限管理是安 ...
- ⭐openGauss数据库源码解析系列文章—— 角色管理⭐
在前面介绍过"9.1 安全管理整体架构和代码概览.9.2 安全认证",本篇我们介绍第9章 安全管理源码解析中"9.3 角色管理"的相关精彩内容介绍. 9.3 角 ...
- openGauss数据库源码解析系列文章—— AI技术之“自调优”
上一篇介绍了第七章执行器解析中"7.6 向量化引擎"及"7.7 小结"的相关内容,本篇我们开启第八章 AI技术中"8.1 概述"及" ...
- openGauss数据库源码解析系列文章——openGauss开发快速入门(一)
作为openGauss数据库开发者,在基于开源社区的openGauss版本进行二次开发的过程中,需要完成软件包获取.源码了解.代码修改.编译发布等过程,同时还需要安装数据库以了解数据库的基本特点.验证 ...
- openGauss数据库源码解析系列文章—— SQL引擎源解析(一)
本篇我们开启"SQL引擎源解析"中"6.1 概述"及"6.2 SQL解析"的精彩内容介绍. 第6章 SQL引擎源解析 SQL引擎作为数据库系 ...
最新文章
- 阿里P7背调红灯:被前前公司说坏话,修改领导名被查
- hibernate开发错误及解决办法
- CountDownLatch闭锁
- http压缩方法(IIS 6.0 与IIS 7.0的详解)
- 博客园Logo创意之我的朋友弄的
- 服务器t4卡在哪个位置,英特尔(Intel )X710-T4融合网络适配器4口万兆X710T4服务器网卡...
- mysql数据库的字符集_mysql数据库中字符集乱码问题原因及解决
- 10 分钟入门 Less 和 Sass
- 不均衡数据集采样1——SMOTE算法(过采样)
- 网络摄像头转usb接口_同时读取多个摄像头数据(包括海康网络摄像头和USB摄像头)...
- 腾讯云短信 Node.js SDK
- 如何使用QuickTime Player一键视频压缩
- 快速搜索Wox工具之Everything Client没有运行报错,解决办法!
- 看表情读情绪:AI“察言观色”背后的表情识别数据
- 学生信息表(本地存储)
- istio-code
- 线程(Thread)的学习笔记
- 基于Struts开发电影订票网站
- 惯性传感将决定未来游戏控制器的工作方式
- 牛客网“程序发生段错误,可能是数组越界,堆栈溢出(比如,递归调用层数太多)”错误的可能原因
热门文章
- 机器学习(三十七)——Integrating Learning and Planning(3)
- udp本地通信需要注意哪些方面_验房注意什么?验房都需要检查哪些方面?
- 学校计算机教学演示,案例演示在计算机基础教学中的运用
- linux不同发行版 程序通用吗,为什么各种Linux发行版使用不同的包管理器?
- python 将pdf分页后插入至word中
- 装修仿720VR全景平台网站源码
- Hash索引和BTree索引
- shell脚本:lvs启动简易脚本
- Spring Security 中取得 RememberMe 的 cookie 值
- 看电影也花屏,谁是幕后元凶