datadog的数据流转

datadog是个典型的类zabbix的agent，其主要数据流转如下：

数据类型有三种，一个是metric，一个是server_check，一个是event，分别存到指标数据库，做服务状态标记和事件报警用，但这里面有些坑。

collectd的数据来源有两个，一个是是checksd，一个是system指标。这里的system指标采集格式很恶心，并不是metrci格式，直接给个键值对，导致后端解析一次再丢到数据库，给后端带来压力，这里其实可以将格式封装一样的。

stastd是个udp server，jmxfetch用java封装了个stasd的client，专门去抓jmx的数据。

jmxfetch被打成了个jar包，没什么好说的，这里有个坑，安装后权限被修改，或者localhost的域名被篡改了，这里就没数据了。datadog运行的时候会降权运行

forward是个tornado的转发器，异步的方式，使得foraward本身能做内网代理，这个也是dataog支持内网代理的方式之一，forward最大特点一个是异步，一个是事务，每个包启动个事务，性能强悍。

上图缺个gohai，所有系统静态指标，比如cpu核，ip等静态信息都是gohai去获取的，用go写的个agent，被subprocess调用，返回个json，目前13版本的mac已经将这个移除，原因是，，，吃cpu。

不得不提，datadog对资源占用很小，cpu占用不到1%，内存不到150m。为了不占用系统性能，collectd的一个关键点，特意用循环遍历，不使用并发！

datadog的数据流转相关推荐

hadoop数据流转过程分析
hadoop:数据流转图(基于hadoop 0.18.3):通过一个最简单的例子来说明hadoop中的数据流转. hadoop:数据流转图(基于hadoop 0.18.3): 这里使用一个例子说明ha ...
goim 中的 data flow 数据流转及思考
goim 文章系列(共5篇): goim 架构与定制从goim定制, 浅谈 golang 的 interface 解耦合与gRPC goim中的 bilibili/discovery (eureka ...
服务器关于数据流转方式
在做数据产品设计时,整个关注两个重点,数据的流转,业务逻辑: 数据怎么流转,数据流转方法,可以根据数据量的大小和使用时效性要求,有三种数据流转的方案: 1.实时大数据量.秒级.可异步: 业务要求:峰值 ...
springboot 物联网_【阿里云生活物联网架构师专题】基于在 SpringBoot Java私有云上对接阿里云物联网，实现M2M设备数据流转。...
- 近处是人生,远处是风景 - 今天与老同学小聚一餐,君子之交淡如水,忆当年青春岁月.年龄越大,志同道合的朋友越来越少了,一声朋友,足以抵过无限岁月! 在儿时,总喜欢做一些天马行空的美梦,想象着可以仗 ...
基于星环TDH数据仓库典型总和场景数据流转设计
典型综合场景数据流转设计综合场景一 T+1数据加工图 4 T+1方式数据流转 T+1是数据仓库领域最为常见的数据集成模式,T+1模式下数据仓库会在每天固定时间点采集当天或者前一天交易系统数据. 根 ...
阿里云物联网Iot设备上下线状态数据流转的设置
要想通过物联网平台实现远程监控设备,那么就要建立监控端设备(比如手机)和被监控端设备的数据交互,在阿里云物联网平台完成这个交互功能的方法就是建立两个设备之间的数据流转,对于设备要流转的物模型数据,阿里 ...
TDengine极简实战：从采集到入库，从前端到后端，体验物联网设备数据流转
作者:牛晓青背景我们的项目涉及物联网相关业务,由于一开始的年少无知,传感器数据采用了 MySQL 进行存储,经过近两年的数据累积,目前几个核心表单表数据已过亿,虽然通过索引优化. SQL 优化以及 ...
物联网设备数据流转之数据如何实时推送至前端：WebSocket服务端推送
背景还记得,我们在物联网设备数据流转之实时数据从哪里来.如何转发:Node.js, MQTT, EMQX的WebHook这篇文章中,当 EMQX 的 WebHook 收到来自设备的消息时,我们当时只 ...
物联网设备数据流转之数据何时存储：Spring事件及监听机制, 数据入库
背景还记得,我们在物联网设备数据流转之实时数据从哪里来.如何转发:Node.js, MQTT, EMQX的WebHook这篇文章中,当 EMQX 的 WebHook 收到来自设备的消息时,我们当时只 ...

datadog的数据流转

datadog的数据流转相关推荐

最新文章

热门文章