metrics和监控

动机

　　HystrixCommands和HystrixObservableCommands执行过程中会产生相关运行情况的metrics。这些metrics对于监控系统表现有很大的帮助。 hystrix为每个命令提供了metrics。

　　单独的hystrix metrics信息可以用来帮助debugging，聚合的metrcis信息可以帮助理解系统的表现。下面是命令执行和写metrics的流程图。

Hystrix事件类型

　　下表列出了Hystrix执行过程中所有的事件类型。这些事件类型定义在枚举类com.netflix.hystrix.HystrixEventType中。HystrixCommand和HystrixObservableCommand都会使用到整个枚举。

　　HystrixCommand只返回一个数据，当返回值时发生SUCCESS事件，执行失败时，发生FAILURE事件。。

　　HystrixObservableCommand可以返回多个值，当返回值时发生EMIT事件，当命令完成时，发生SUCCESS事件，执行失败时，发生FAILURE事件。

Fallback事件类型

其他命令类型

线程池类型

聚合事件类型

Metrics存储

　　我们选择便于聚合的数据结构来存储metrics，你可能会使用HystrixRollingNumber来存储滚动计数；可能会使用HystrixRollingPercentile来存储百分比计数。例如，hystrix熔断器根据滚动的失败率来判断是否需要熔断；hystrix-contrib中的publisher和stream会读取滚动数据然后聚合并发送。但实际情况比这个更加复杂，单单根据聚合值，我们还不能满足所有需求。例如，我们知道FooCommand的失败率是50%，但是我们依然想知道在墨西哥和巴西失败率为0%，在美国的失败率为98%，在聚合过程中很多细节会被丢失掉。netflix通过HystrixRequestLog来跟踪所有的请求，这不是最好的方式但可以让我们以请求路径的维度来统计hystrix执行的情况，在实际应用中会非常有价值。

1.5.x（及以上）

　　因为这些原因，我们使用更加灵活的方式来重新设计了metrics架构。如果将metrics设计成一个数据流，那么它可以以各种方式被消费。我们为HystrixCommandKey，HystrixThreadPoolKey，HystrixCollapserKey的metrics设计了一个流。每个HystrixCommandKey和HystrixThreadPoolKey对应的流会接收开始事件，结束事件。每个HystrixCollapserKey对应的流会接收聚合相关的事件。为了保持向后兼容，hystrix－core实现了所有HystrixRollingNumber/HystrixRollingPercentile的统计计算。并且hystrix-core使用了rxjava来实现这些聚合操作。例如，使用Observable.window来实现一段时间内的聚合数据，它自己会在后台实现，不需要我们自己实现它。

　　通过这种实现，每一个命令不再需要维护一个HystrixRollingNumber，而是针对每个命令，每个线程池，每个聚合命令，维护一个rx.Subject，通过异步方式写入metrics事件。这些Subject通过一下hystrix api 暴露给调用方使用。

　　我们可以自定义metrics的消费策略，hystrix也提供了一些默认的实现。例如RollingCommandEventCounterStream，任何线程通过这个流可以读取到窗口期内某一command 事件的聚合值。以下是hystrix提供的metrics消费统计流：

Metrics事件流

　　可以使用hystrix-metrics-event-stream来实现实时监控，报警，报表等。通过实现HystrixMetricsPublisher可以自定义发布Metrics。使用HystrixPlugins.registerMetricsPublisher(HystrixMetricsPublisher impl)来注册自定义HystrixMetricsPublisher。

　　Hystrix的hystrix-contrib模块有下面的默认实现：

• Netflix Servo: hystrix-servo-metrics-publisher
• Yammer Metrics: hystrix-yammer-metrics-publisher

　　上面的两个publisher具体发布以下信息：

命令Metrics

　　每一个命令以下面的格式发布metrics：

• servo tag：instance 值：HystrixCommandKey.name()
• servo tag：type 值：HystrixCommand

状态

• Boolean isCircuitBreakerOpen 熔断器是否开启
• Number errorPercentage 异常比率
• Number executionSemaphorePermitsInUse
• String commandGroup 命令组
• Number currentTime 当前时间

窗口期和持续值

线程池Metrics

　　每一个线程池以下面的格式发布metrics：

• servo tag：instance 值：HystrixThreadPoolKey.name()
• servo tag：type 值：HystrixThreadPool

状态

• string name
• Number currentTime

窗口值（Gauge）

• Number rollingMaxActiveThreads
• Number rollingCountThreadsExecuted

持续值

• countThreadsExecuted

线程池状态

• Number threadActiveCount
• Number completedTaskCount
• Number largestPoolSize
• Number totalTaskCount
• Number queueSize

属性值

• Number propertyValue_corePoolSize
• Number propertyValue_keepAliveTimeInMinutes
• Number propertyValue_queueSizeRejectionThreshold
• Number propertyValue_maxQueueSize