2019独角兽企业重金招聘Python工程师标准>>>

默认性能限制

为防止滥用消耗过多机器资源，我们对默认安装的Logtail进行了一系列的资源限制。默认安装的Logtail最多日志采集速度为20M/s，20个并发发送。

其他资源限制请参考：启动参数 https://help.aliyun.com/document_detail/32278.html 中的默认配置。

采集能力

单核能力

如果放开发送流控，Logtail默认单核的能力大致如下（具体根据不同正则、日志类型、采集提取的key数量、机器配置等会有一定浮动）：

		极简模式	正则模式	分隔符模式	JSON模式
单核能力（单核100%CPU）	采集速度	100MB/s	20MB/s	35MB/s	30MB/s
内存占用	80	80	80	80
采集速度 0.1 MB/s（200条/s）	CPU占用（单核）	0.3%	0.6%	0.5%	0.5%
内存占用	32	32	32	32
采集速度 1 MB/s（2000条/s）	CPU占用（单核）	1.3%	5.0%	3.5%	3.5%
内存占用	32	32	32	32

备注：测试环境
CPU :Intel(R) Xeon(R) CPU E5-2682 v4 @ 2.50GHz
MEM : 64GB
OS : Linux version 2.6.32-220.23.2.ali1113.el5.x86_64

多核能力

Logtail默认只开一个线程处理数据，如果开启多核，性能会有提升，但并不是线性关系，实测最多开到8个线程后，性能几乎没有上涨。

极简模式最高性能可达：440MB/s
正则最高性能可达：70MB/s
分隔符最高性可达：75MB/s
JSON最高性能可达：75MB/s

日志格式建议

根据您的使用目的，合理选择对应的日志格式

搬数据：使用极简模式，性能最高
数据分析：多字符分隔符>单字符分隔符>JSON模式>正则模式
Java堆栈类型数据：正则模式

注意：正则模式采集性能和正则优化有非常大关系。

如何放开资源限制

可通过调整Logtail的启动参数来放开默认的资源限制，下面我们推荐2种配置方式：

注意：Logtail使用短连接发送数据，如果发送并发过高，建议调整服务器的tcp参数，防止过多time_wait
调整方式：sudo sysctl -w net.ipv4.tcp_tw_timeout=5

单核小资模式

在配置文件末尾追加以下两个参数，注意JSON需合法。

{..."max_bytes_per_sec" : 50000000,"send_request_concurrency" : 50
}

多核极致模式

在配置文件末尾追加以下几个参数，需保证，注意JSON需合法。

注意：需保证 cpu_usage_limit > process_thread_count

{..."cpu_usage_limit" : 5,"process_thread_count" : 4,"max_bytes_per_sec" : 50000000,"send_request_concurrency" : 50
}

本文作者：元乙

原文链接

本文为云栖社区原创内容，未经允许不得转载。

转载于:https://my.oschina.net/u/3827390/blog/3059235

Logtail提升采集性能相关推荐

Apache，Nginx,Lighttpd分别使用X-sendfile功能提升文件下载性能
关于mod_xsendfile https://tn123.org/mod_xsendfile/ Lighttpd中的X-sendfile RoR网站如何利用lighttpd的X-sendfile功能 ...
重新标注128万张ImageNet图片：多标签，全面提升模型性能
点击上方"AI遇见机器学习",选择"星标"公众号重磅干货,第一时间送达来自:机器之心自发布以来,ImageNet 数据集逐渐成为机器学习社区最流行的图像分 ...
各类Transformer都得稍逊一筹，LV-ViT：探索多个用于提升ViT性能的高效Trick
[导读]本文探索了用于提升ViT性能的各种训练技巧.通过一系列实验对比.改进与组合,本文所提方案取得了SOTA方案,超越了EfficientNet.T2TViT.DeiT.Swin Transform ...
【CVPR2020 Oral】只需一行代码就可提升迁移性能
关注上方"深度学习技术前沿",选择"星标公众号", 精选文章,第一时间送达! 作者:Hassassin 知乎链接:https://zhuanlan.zhihu. ...
重新标注128万张ImageNet图片：多标签，提升模型性能
2021-01-28 14:47:13 机器之心报道作者:杜伟.魔王自发布以来,ImageNet 数据集逐渐成为机器学习社区最流行的图像分类基准,但 ImageNet 自身存在着标签噪声,以及单标 ...
IBM对话智能+未来：十年提升AI性能效率千倍？
来源:云科技时代 140多前的1879年,爱迪生经过几千次试验发明了电灯:之后过了90年的1969年美国把人类送到了月球,1970年空中客车公司诞生.在1870年代,人类初次进入电力时代的时候,没有人 ...
快速提升页面性能的必备利器
从 PC 互联网到移动互联网,越来越多的人在互联网上追剧,看资讯,刷视频,玩游戏等等,与之对应的就是各类互联网应用的用户体验要求越来越高. 其中典型的一个例子就是互联网的 "8秒原则&quo ...
【深度学习】利用深度可分离卷积减小计算量及提升网络性能
[深度学习]利用深度可分离卷积减小计算量及提升网络性能文章目录 1 深度可分离卷积 2 一个深度可分离卷积层的代码示例(keras) 3 优势与创新3.1 Depthwise 过程3.2 Point ...
卷积核一定可以提升网络性能吗？-分类0，2
制作一个网络然后向这个网络上加1-9个卷积核,通过网络的分辨准确率来比较卷积核对网络性能的影响. 网络的结构是 (mnist 0 ,mnist2)81-con(3*3)*n-(49*n)-30-2-( ...

Logtail提升采集性能