socketmq 设置队列大小_[译] TCP的SYN队列和Accept队列
关于两个队列
首先我们必须明白,处于“LISTENING”状态的TCP socket,有两个独立的队列:
- SYN队列(SYN Queue)
- Accept队列(Accept Queue)
这两个术语有时也被称为“reqsk_queue”,“ACK backlog”,“listen backlog”,甚至“TCP backlog”,但是这篇文章中我们使用上面两个术语以免造成混淆。
SYN队列
SYN队列存储了收到SYN包的连接(对应内核代码的结构体:struct inet_request_sock)。它的职责是回复SYN+ACK包,并且在没有收到ACK包时重传,直到超时。在Linux下,重传的次数为:
$ sysctl net.ipv4.tcp_synack_retries
net.ipv4.tcp_synack_retries = 5
文档中对tcp_synack_retries的描述如下:
tcp_synack_retries - int整型对于一个被动TCP连接,重传SYNACKs的次数。该值不能超过255。默认值为5,如果初始RTO是1秒,那么对应的最后一次重传是31秒。对应的最后一次超时是63秒之后。
发送完SYN+ACK之后,SYN队列等待从客户端发出的ACK包(也即三次握手的最后一个包)。当收到ACK包时,首先找到对应的SYN队列,再在对应的SYN队列中检查相关的数据看是否匹配,如果匹配,内核将该连接相关的数据从SYN队列中移除,创建一个完整的连接(对应内核代码的结构体:struct inet_sock),并将这个连接加入Accept队列。
Accept队列
Accept队列中存放的是已建立好的连接,也即等待被上层应用程序取走的连接。当进程调用accept(),这个socket从队列中取出,传递给上层应用程序。
这就是Linux处理SYN包的一个简单描述。顺便一提,当socket开启了TCP_DEFER_ACCEPT
和TCP_FASTOPEN
时,工作方式将会有细微不同,本文不做介绍。
队列大小限制
应用程序通过调用系统调用listen(2),传入backlog参数,来设置SYN队列和Accept队列的最大大小。比如下面这样,将SYN队列和Accept队列的最大大小同时设置为1024:
listen(sfd, 1024)
注意,在4.3版本之前的内核,SYN队列的大小是用另一种方式计算。
SYN队列的最大大小以前是用net.ipv4.tcp_max_syn_backlog
来配置,但是现在已经不再使用了。现在用net.core.somaxconn
来同时表示SYN队列和Accept队列的最大大小。在我们的服务器上,我们将它设置为16k:
$ sysctl net.core.somaxconn
net.core.somaxconn = 16384
队列设置为多大合适
知道了上面这些信息后,你可能会问,队列设置为多大合适?
答案是:看情况。对于大多数的TCP服务来说,这并不太重要。比如,Go语言1.11版本之前,并没有提供设置队列大小的方法。
尽管如此,也存在一些合理的原因,需要增大队列的大小:
- 当建立连接的请求速度确实很大时,即使是对于一个高性能的服务来说,SYN队列也可能需要设置的大一些。
- SYN队列的大小,换言之就是等待ACK包的连接数。也即与客户端的平均往返时间越大,堆积在SYN队列中的连接就越多。对于那些大部分客户端都距离服务器很远的场景,比如说往返时间几百毫秒以上,可以将队列大小设置的大一些。
TCP_DEFER_ACCEPT
选项如果打开了,会导致socket在SYN-RECV
状态下维持更长的时间,也即增大了处于SYN队列中的时间。
但是,将backlog设置的过大也会带来不好的影响:
- SYN队列中的每一个槽位都需要占用一些内存。当遇到SYN Flood攻击时,我们没有必要为这些发起攻击的包浪费资源。SYN队列中的
inet_request_sock
结构体,在4.14内核下,每个将占用256字节的内存。
linux下,如果想查看SYN队列的当前状态,我们可以使用ss命令来查询SYN-RECV
状态的socket。比如如下执行结果,表示80端口的SYN队列中当前有119个元素,443端口则为78。
$ ss -n state syn-recv sport = :80 | wc -l
119
$ ss -n state syn-recv sport = :443 | wc -l
78
还可以通过我们的SystemTap脚本来观察这个数据:resq.stp
假如程序调用accept()不够快?
如果程序调用accept()不够快会发生什么呢?
- 后续收到的SYN包,不会被SYN队列处理
- 后续收到的(用于建立连接的)ACK包,不会被SYN队列处理
TcpExtListenOverflows / LINUX_MIB_LISTENOVERFLOWS
计数增加TcpExtListenDrops / LINUX_MIB_LISTENDROPS
计数增加
发生这种情况时,我们只能寄希望于程序的处理性能稍后能恢复正常,客户端重新发送被服务端丢弃的包。
内核的这种表现对于大部分服务来说是可接受的。顺便一提,可以通过调整net.ipv4.tcp_abort_on_overflow
这个全局参数来修改这种表现,但是最好还是不要改这个参数。
可以通过查看nstat的计数来观察Accept队列溢出的状态:
$ nstat -az TcpExtListenDrops
TcpExtListenDrops 49199 0.0
但是这是一个全局的计数。观察起来不够直观,比如有时我们观察到它在增长,但是所有的服务程序看起来都是正常的。此时我们可以使用ss命令来观察单个监听端口的Accept队列大小:
$ ss -plnt sport = :6443|cat
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN 0 1024 *:6443 *:*
Recv-Q
这一列显示的是处于Accept队列中的socket数量,Send-Q
显示的是队列的最大大小。在上面的例子中,我们发现并没有未被程序accept()的socket,但是我们依然发现ListenDrops计数在增长。
这是因为我们的程序只是周期性的短暂卡住不处理新的连接,而非永久性的不处理,过段时间程序又恢复了正常。这种情况下,用ss命令比较难观察这种现象,因此我们写了一个SystemTap脚本,它会hook进内核,把被丢弃的SYN包打印出来:
$ sudo stap -v acceptq.stp
time (us) acceptq qmax local addr remote_addr
1495634198449075 1025 1024 0.0.0.0:6443 10.0.1.92:28585
1495634198449253 1025 1024 0.0.0.0:6443 10.0.1.92:50500
1495634198450062 1025 1024 0.0.0.0:6443 10.0.1.92:65434
...
通过上面的操作,可以观察到哪些SYN包被ListenDrops影响了。从而我们也就可以知道哪些程序在丢失连接。
英文原文来自cloudflare的博客,地址如下: SYN packet handling in the wild。 英文原文在后半部分还介绍了SYN Cookies对于SYN Flood的影响,我在本文中没有翻译,感兴趣的可以看看原文。
本文原始地址: https://pengrl.com/p/46323/声明: 本文后续所有修改都会第一时间在原始地址更新。本文欢迎任何形式转载,转载时注明原始出处即可。
socketmq 设置队列大小_[译] TCP的SYN队列和Accept队列相关推荐
- linux accept 队列,[译] TCP的SYN队列和Accept队列
关于两个队列 46323_all-1.jpeg 首先我们必须明白,处于"LISTENING"状态的TCP socket,有两个独立的队列: SYN队列(SYN Queue) Acc ...
- html设置页面大小_如何将Word文档页面大小设置为16开?
某大学毕业生在对其毕业论文进行排版时,要求将纸张大小设置为16开,但Word默认的纸张大小为A4纸,如何将页面大小设置为16开? 1解决方案 通过设置"纸张大小"功能,将其页面设置 ...
- div 设置a4大小_如何在A4纸张尺寸页面制作HTML页面?
在2005年11月,AlistApart.com发表了一篇关于他们如何使用HTML和CSS发表一本书的文章.请参阅:http://alistapart.com/article/boom 这是该文章的摘 ...
- javafx label设置字体大小_如何把智能手机,设置成老年人模式?
hello大家好!我是方脸鸭! 如果你买了新的手机,那么旧的手机无非就是放闲鱼,或者拿给家里的长辈们使用.那么方脸鸭今天就跟大家分享,如何把智能手机设置得更符合家里的长辈使用. [详情请看视频讲解] ...
- div 设置a4大小_网页打印时设置A4大小
最近开发项目时遇到了网页打印的问题,这是问题之二,打印宽度设置 在公制长度单位与屏幕分辨率进行换算时,必须用到一个DPI(Dot Per Inch)指标. 经过我仔细的测试,发现了网页打印中,默认采用 ...
- div 设置a4大小_设计适用于打印的CSS样式
大多数Web设计师对打印控制还不是很熟悉,他们往往更迷恋像素,而不是打印机.在现实世界中,很多人依赖从网站上打印网页来参考: 在这个数字时代, 在一些特殊的场合,很多人手中还会拿着纸张.Web开发人员 ...
- Python设置画布大小_我用Python的Seaborn库绘制17个超好看图表
点击上方" Python爬虫与数据挖掘 ",进行关注 回复"书籍"即可获赠Python从入门到进阶共10本电子书 今 日 鸡 汤 风朝露夜阴晴里,万户千门开闭时 ...
- qpushbutton 设置字体大小_怎样设置Qpushbutton 的大小
匿名用户 1级 2012-10-01 回答 首先要定义一个QPushButton对象 QPushButton button = new QPushButton(): 设置button的字体类型.字体大 ...
- markdown如何设置图片大小_不会吧,还不会用markdown排版吗
请使用 Chrome 浏览器. 请阅读下方文本熟悉工具使用方法,本文可直接拷贝到微信中预览. 1 Markdown Nice 简介 支持自定义样式的 Markdown 编辑器 支持微信公众号.知乎和稀 ...
最新文章
- sl中几个简单变量的获取
- C#中char[]与string之间的转换
- Axis-Parallel Rectangle
- 前端月趋势榜:5 月最热门的 20 个前端开源项目 - 2105
- A small tip to explore how to call a method of a control
- 凌动服务器系列,凌动也能造服务器?超微又出怪异新品
- AliOS Things 电源管理框架使用说明
- 谈谈文本匹配和多轮检索
- js在html中加文字走马灯特效,jQuery简单的文字跑马灯特效
- 【渝粤教育】电大中专新媒体营销实务 (14)作业 题库
- 面试记录:面试两个人的不同结果
- 读《我是一只IT小小鸟》有感
- H5+CSS前端特效源代码:可旋转动态日文片假名
- 郴州:安仁消防工作纳入智慧城市顶层设计
- 计算机打不开硬盘,电脑硬盘打不开的原因 如何解决电脑硬盘问题
- qq企业邮箱怎么删除邮件服务器,腾讯企业邮箱如何删除邮件,有什么要注意的呢?...
- JAVA操作Excel(POI、easyPOI、easyExcel)
- 园区人工智能开启双创模式,“1+N”创新型组织发展成效初显...
- 序列标注 | (4) Hierarchically-Refined Label Attention Network for Sequence Labeling
- 直插电阻通过色环读取电阻阻值,误差与温度系数方法总结
热门文章
- android 转场动画兼容问题,【Android】关于ARouter转场动画的问题
- Java BigDecimal toBigIntegerExact()方法(带示例)
- npm 全局安装vuecli报错_cnn explainer本地使用--被npm坑惨
- Castor xsd生成java_java – Castor可以处理从基础XSD导入的多个XSD生成类吗?
- h5引入json_Vue中如何使用本地Json文件?
- 非你莫属 java全球排名_TIOBE:2018年5月全球编程语言排行榜
- java nextlong_Java Random nextLong()方法与示例
- c++ array stl_C ++ STL中带有示例的array :: front()函数
- c#中textbox属性_C#.Net中带有示例的TextBox.Multiline属性
- 面试系列第2篇:回文字符串判断的3种方法!