Linxu #2 服务器大量 ESTABLISHED 状态请求处理记录

一、看下问题

Linux 服务器处于 ESTABLISHED 状态的请求有几百条，而且单个IP请求甚至有一百多条，直接导致 Tomcat 服务器响应变慢甚至无法访问。

[tomcat@localhost bin]$ lsof -i:8050
java    26734 tomcat   44u  IPv6 2417160      0t0  TCP *:8050 (LISTEN)
java    26734 tomcat   48u  IPv6 2555580      0t0  TCP 192.168.82.219:8050->192.168.82.23:53763 (ESTABLISHED)
java    26734 tomcat   50u  IPv6 2552895      0t0  TCP 192.168.82.219:8050->192.168.82.23:51470 (ESTABLISHED)

二、解决办法

1、查看 sysctl 参数配置

[root@localhost ~]# sudo sysctl -a  | grep ipv4 | grep syn
# SYN队列的长度，加大队列长度可以容纳更多等待连接的网络连接数
net.ipv4.tcp_max_syn_backlog = 256
# 定义SYN重试次数
net.ipv4.tcp_syn_retries = 6
net.ipv4.tcp_synack_retries = 5
# 是否打开SYN COOKIES的功能，“1”为打开，“2”关闭
net.ipv4.tcp_syncookies = 1

2、将 SYN 队列的长度修改成2048

[root@localhost ~]# vi + /etc/sysctl.conf
# 按 i 进行插入，此时就可以插入内容了
# 下面我将 Linux服务器的SYN队列的长度修改为2048了
# System default settings live in /usr/lib/sysctl.d/00-system.conf.
# To override those settings, enter new settings here, or in an /etc/sysctl.d/<name>.conf file
#
net.ipv4.tcp_max_syn_backlog = 2048
# For more information, see sysctl.conf(5) and sysctl.d(5).
# 按 ESC,光标消失后,键入冒号(:)然后,wq保存并退出
:wq
# 执行 sysctl -p 使配置修改生效
[root@localhost ~]# sysctl -p

3、查看修改后的配置

[root@localhost ~]# sudo sysctl -a  | grep ipv4 | grep syn
net.ipv4.tcp_max_syn_backlog = 2048
net.ipv4.tcp_syn_retries = 6
net.ipv4.tcp_synack_retries = 5
net.ipv4.tcp_syncookies = 1

可以看见修改已经生效。

4、再次查看个状态的请求数量

[tomcat@localhost bin]$ netstat -an | awk '/^tcp/ {++y[$NF]} END {for(w in y) print w, y[w]}'
LISTEN 9
ESTABLISHED 53
TIME_WAIT 11

ESTABLISHED 状态的请求数量明显减少。

如果说以上步骤还是没有解决问题的话，尝试下面步骤：

三、再次修改配置

# 修改以下配置的内容
net.ipv4.udp_mem = 1529388      2039187 3058776
# udp 读 buffer
net.ipv4.udp_rmem_min = 4096
# udp 写 buffer
net.ipv4.udp_wmem_min = 4096
net.ipv4.xfrm4_gc_thresh = 32768

修改完后执行 sysctl -p 使配置修改生效。

四、原因

大量出现 ESTABLISHED 状态请求的原因是什么：

1、Tomcat 的连接超时时间设置小了，可以适当调大

2、服务器被 DDOS 攻击了

如果说连接超时时间没有问题的话，这种可能性似乎更大一点。

五、附

下面附上一份 TCP 的优化配置，可供参考。

#禁用包过滤功能
net.ipv4.ip_forward = 0
#启用源路由核查功能
net.ipv4.conf.default.rp_filter = 1
#禁用所有IP源路由
net.ipv4.conf.default.accept_source_route = 0
#使用sysrq组合键是了解系统目前运行情况，为安全起见设为0关闭
kernel.sysrq = 0
#控制core文件的文件名是否添加pid作为扩展
kernel.core_uses_pid = 1
#开启SYN Cookies，当出现SYN等待队列溢出时，启用cookies来处理
net.ipv4.tcp_syncookies = 1
#每个消息队列的大小（单位：字节）限制
kernel.msgmnb = 65536
#整个系统最大消息队列数量限制
kernel.msgmax = 65536
#单个共享内存段的大小（单位：字节）限制，计算公式64G*1024*1024*1024(字节)
kernel.shmmax = 68719476736
#所有内存大小（单位：页，1页 = 4Kb），计算公式16G*1024*1024*1024/4KB(页)
kernel.shmall = 4294967296
#timewait的数量，默认是180000
net.ipv4.tcp_max_tw_buckets = 6000
#开启有选择的应答
net.ipv4.tcp_sack = 1
#支持更大的TCP窗口. 如果TCP窗口最大超过65535(64K), 必须设置该数值为1
net.ipv4.tcp_window_scaling = 1
#TCP读buffer
net.ipv4.tcp_rmem = 4096 131072 1048576
#TCP写buffer
net.ipv4.tcp_wmem = 4096 131072 1048576
#为TCP socket预留用于发送缓冲的内存默认值（单位：字节）
net.core.wmem_default = 8388608
#为TCP socket预留用于发送缓冲的内存最大值（单位：字节）
net.core.wmem_max = 16777216
#为TCP socket预留用于接收缓冲的内存默认值（单位：字节）
net.core.rmem_default = 8388608
#为TCP socket预留用于接收缓冲的内存最大值（单位：字节）
net.core.rmem_max = 16777216
#每个网络接口接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的最大数目
net.core.netdev_max_backlog = 262144
#web应用中listen函数的backlog默认会给我们内核参数的net.core.somaxconn限制到128，而nginx定义的NGX_LISTEN_BACKLOG默认为511，所以有必要调整这个值
net.core.somaxconn = 262144
#系统中最多有多少个TCP套接字不被关联到任何一个用户文件句柄上。这个限制仅仅是为了防止简单的DoS攻击，不能过分依靠它或者人为地减小这个值，更应该增加这个值(如果增加了内存之后)
net.ipv4.tcp_max_orphans = 3276800
#记录的那些尚未收到客户端确认信息的连接请求的最大值。对于有128M内存的系统而言，缺省值是1024，小内存的系统则是128
net.ipv4.tcp_max_syn_backlog = 262144
#时间戳可以避免序列号的卷绕。一个1Gbps的链路肯定会遇到以前用过的序列号。时间戳能够让内核接受这种“异常”的数据包。这里需要将其关掉
net.ipv4.tcp_timestamps = 0
#为了打开对端的连接，内核需要发送一个SYN并附带一个回应前面一个SYN的ACK。也就是所谓三次握手中的第二次握手。这个设置决定了内核放弃连接之前发送SYN+ACK包的数量
net.ipv4.tcp_synack_retries = 1
#在内核放弃建立连接之前发送SYN包的数量
net.ipv4.tcp_syn_retries = 1
#开启TCP连接中time_wait sockets的快速回收
net.ipv4.tcp_tw_recycle = 1
#开启TCP连接复用功能，允许将time_wait sockets重新用于新的TCP连接（主要针对time_wait连接）
net.ipv4.tcp_tw_reuse = 1
#1st低于此值,TCP没有内存压力,2nd进入内存压力阶段,3rdTCP拒绝分配socket(单位：内存页)
net.ipv4.tcp_mem = 94500000 915000000 927000000
#如果套接字由本端要求关闭，这个参数决定了它保持在FIN-WAIT-2状态的时间。对端可以出错并永远不关闭连接，甚至意外当机。缺省值是60 秒。2.2 内核的通常值是180秒，你可以按这个设置，但要记住的是，即使你的机器是一个轻载的WEB服务器，也有因为大量的死套接字而内存溢出的风险，FIN- WAIT-2的危险性比FIN-WAIT-1要小，因为它最多只能吃掉1.5K内存，但是它们的生存期长些。
net.ipv4.tcp_fin_timeout = 15
#表示当keepalive起用的时候，TCP发送keepalive消息的频度（单位：秒）
net.ipv4.tcp_keepalive_time = 30
#对外连接端口范围
net.ipv4.ip_local_port_range = 2048 65000
#表示文件句柄的最大数量
fs.file-max = 102400

Linxu #2 服务器大量 ESTABLISHED 状态请求处理记录相关推荐

服务器发送退出状态127,TCP正常建立和关闭的状态变化
客户端的状态可以用如下的流程来表示: CLOSED->SYN_SENT->ESTABLISHED->FIN_WAIT_1->FIN_WAIT_2->TIME_WAIT-& ...
状态服务器与无状态服务器（要点）
对服务器程序来说,究竟是有状态服务,还是无状态服务,其判断依旧是指两个来自相同发起者的请求在服务器端是否具备上下文关系.如果是状态化请求,那么服务器端一般都要保存请求的相关信息,每个请求可以默认地使用 ...
服务器状态监控app,服务器/网站连接状态监控工具
本工具是监听服务器或者网站状态的工具,一次可以批量检测多个IP或者服务器,工具是由概念网络自主开发的,本工具为收费软件,没有免费版本下载,程序是用C#开发,需要.Net Framework 3.5及以 ...
邮件服务器(eas)找不到服务器,Exchange ActiveSync 无法访问邮箱服务器上的邮箱，因为邮箱服务器处于脱机状态...
上一次修改主题: 2015-03-08 Microsoft Operations Manager 的 Microsoft Exchange Server 2007 管理包可以监视运行 Exchange ...
linux关闭established状态,有关ESTABLISHED,CLOSE_WAIT,TIME_WAIT等连接状态
在Linux的日常维护过程中,会经常用到下面的命令: netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' 它会显示 ...
Wins服务器删除和逻辑删除记录
应用到: Windows Server 2003, Windows Server 2003 R2, Windows Server 2003 with SP1, Windows Server 2003 ...
[企业化NET]Window Server 2008 R2[1]-服务器基本安装即问题解决记录
1. 服务器基本安装即问题解决记录 √ 2. SVN环境搭建和客户端使用 2.1 服务端和客户端安装 √ 2.2 项目建立与基本使用 √ 2.3 基本冲突解决, ...
IOS选中按钮状态的记录
IOS选择按钮状态的记录 @interface NJTabBar() {NJTabBarButton *_selectedButton; } @property(nonatomic,strong)UI ...
mysql php状态函数_mysql_stat()查询MySQL服务器当前系统状态
mysql教程:mysql_stat()查询MySQL服务器当前系统状态定义和用法 mysql_stat() 函数返回 MySQL 服务器的当前系统状态. 如果成功,则该函数返回状态.如果失败,则返 ...