1、修改用户进程可打开文件数限制
   在Linux平台上,无论编写客户端程序还是服务端程序,在进行高并发TCP连接处理时,最高的并发数量都要受到系统对用户单一进程同时可打开文件数量的 限制(这是因为系统为每个TCP连接都要创建一个socket句柄,每个socket句柄同时也是一个文件句柄)。可使用ulimit命令查看系统允许当 前用户进程打开的文件数限制:
   [speng@as4 ~]$ ulimit -n
   1024
   这表示当前用户的每个进程最多允许同时打开1024个文件,这1024个文件中还得除去每个进程必然打开的标准输入,标准输出,标准错误,服务器监听 socket,进程间通讯的unix域socket等文件,那么剩下的可用于客户端socket连接的文件数就只有大概1024-10=1014个左右。 也就是说缺省情况下,基于Linux的通讯程序最多允许同时1014个TCP并发连接。
   对于想支持更高数量的TCP并发连接的通讯处理程序,就必须修改Linux对当前用户的进程同时打开的文件数量的软限制(soft limit)和硬限制(hardlimit)。其中软限制是指Linux在当前系统能够承受的范围内进一步限制用户同时打开的文件数;硬限制则是根据系统 硬件资源状况(主要是系统内存)计算出来的系统最多可同时打开的文件数量。通常软限制小于或等于硬限制。
   修改上述限制的最简单的办法就是使用ulimit命令:
   [speng@as4 ~]$ ulimit -n <file_num>
   上述命令中,在<file_num>中指定要设置的单一进程允许打开的最大文件数。如果系统回显类似于“Operation notpermitted”之类的话,说明上述限制修改失败,实际上是因为在<file_num>中指定的数值超过了Linux系统对该用户 打开文件数的软限制或硬限制。因此,就需要修改Linux系统对用户的关于打开文件数的软限制和硬限制。
   第一步,修改/etc/security/limits.conf文件,在文件中添加如下行:
   speng soft nofile 10240
   speng hard nofile 10240
   其中speng指定了要修改哪个用户的打开文件数限制,可用'*'号表示修改所有用户的限制;soft或hard指定要修改软限制还是硬限制;10240则指定了想要修改的新的限制值,即最大打开文件数(请注意软限制值要小于或等于硬限制)。修改完后保存文件。
   第二步,修改/etc/pam.d/login文件,在文件中添加如下行:
   session required /lib/security/pam_limits.so
   这是告诉Linux在用户完成系统登录后,应该调用pam_limits.so模块来设置系统对该用户可使用的各种资源数量的最大限制(包括用户可打开的 最大文件数限制),而pam_limits.so模块就会从/etc/security/limits.conf文件中读取配置来设置这些限制值。修改完 后保存此文件。
   第三步,查看Linux系统级的最大打开文件数限制,使用如下命令:
   [speng@as4 ~]$ cat /proc/sys/fs/file-max
   12158
   这表明这台Linux系统最多允许同时打开(即包含所有用户打开文件数总和)12158个文件,是Linux系统级硬限制,所有用户级的打开文件数限制都 不应超过这个数值。通常这个系统级硬限制是Linux系统在启动时根据系统硬件资源状况计算出来的最佳的最大同时打开文件数限制,如果没有特殊需要,不应 该修改此限制,除非想为用户级打开文件数限制设置超过此限制的值。修改此硬限制的方法是修改/etc/rc.local脚本,在脚本中添加如下行:
   echo 22158 > /proc/sys/fs/file-max
   这是让Linux在启动完成后强行将系统级打开文件数硬限制设置为22158。修改完后保存此文件。
   完成上述步骤后重启系统,一般情况下就可以将Linux系统对指定用户的单一进程允许同时打开的最大文件数限制设为指定的数值。如果重启后用 ulimit-n命令查看用户可打开文件数限制仍然低于上述步骤中设置的最大值,这可能是因为在用户登录脚本/etc/profile中使用ulimit -n命令已经将用户可同时打开的文件数做了限制。由于通过ulimit-n修改系统对用户可同时打开文件的最大数限制时,新修改的值只能小于或等于上次 ulimit-n设置的值,因此想用此命令增大这个限制值是不可能的。所以,如果有上述问题存在,就只能去打开/etc/profile脚本文件,在文件 中查找是否使用了ulimit-n限制了用户可同时打开的最大文件数量,如果找到,则删除这行命令,或者将其设置的值改为合适的值,然后保存文件,用户退 出并重新登录系统即可。
   通过上述步骤,就为支持高并发TCP连接处理的通讯处理程序解除关于打开文件数量方面的系统限制。
2、修改网络内核对TCP连接的有关限制
   在Linux上编写支持高并发TCP连接的客户端通讯处理程序时,有时会发现尽管已经解除了系统对用户同时打开文件数的限制,但仍会出现并发TCP连接数增加到一定数量时,再也无法成功建立新的TCP连接的现象。出现这种现在的原因有多种。
   第一种原因可能是因为Linux网络内核对本地端口号范围有限制。此时,进一步分析为什么无法建立TCP连接,会发现问题出在connect()调用返回 失败,查看系统错误提示消息是“Can't assign requestedaddress”。同时,如果在此时用tcpdump工具监视网络,会发现根本没有TCP连接时客户端发SYN包的网络流量。这些情况 说明问题在于本地Linux系统内核中有限制。其实,问题的根本原因在于Linux内核的TCP/IP协议实现模块对系统中所有的客户端TCP连接对应的 本地端口号的范围进行了限制(例如,内核限制本地端口号的范围为1024~32768之间)。当系统中某一时刻同时存在太多的TCP客户端连接时,由于每 个TCP客户端连接都要占用一个唯一的本地端口号(此端口号在系统的本地端口号范围限制中),如果现有的TCP客户端连接已将所有的本地端口号占满,则此 时就无法为新的TCP客户端连接分配一个本地端口号了,因此系统会在这种情况下在connect()调用中返回失败,并将错误提示消息设为“Can't assignrequested address”。有关这些控制逻辑可以查看Linux内核源代码,以linux2.6内核为例,可以查看tcp_ipv4.c文件中如下函数:
   static int tcp_v4_hash_connect(struct sock *sk)
   请注意上述函数中对变量sysctl_local_port_range的访问控制。变量sysctl_local_port_range的初始化则是在tcp.c文件中的如下函数中设置:
   void __init tcp_init(void)
   内核编译时默认设置的本地端口号范围可能太小,因此需要修改此本地端口范围限制。
   第一步,修改/etc/sysctl.conf文件,在文件中添加如下行:
   net.ipv4.ip_local_port_range = 1024 65000
   这表明将系统对本地端口范围限制设置为1024~65000之间。请注意,本地端口范围的最小值必须大于或等于1024;而端口范围的最大值则应小于或等于65535。修改完后保存此文件。
   第二步,执行sysctl命令:
   [speng@as4 ~]$ sysctl -p
   如果系统没有错误提示,就表明新的本地端口范围设置成功。如果按上述端口范围进行设置,则理论上单独一个进程最多可以同时建立60000多个TCP客户端连接。
   第二种无法建立TCP连接的原因可能是因为Linux网络内核的IP_TABLE防火墙对最大跟踪的TCP连接数有限制。此时程序会表现为在 connect()调用中阻塞,如同死机,如果用tcpdump工具监视网络,也会发现根本没有TCP连接时客户端发SYN包的网络流量。由于 IP_TABLE防火墙在内核中会对每个TCP连接的状态进行跟踪,跟踪信息将会放在位于内核内存中的conntrackdatabase中,这个数据库 的大小有限,当系统中存在过多的TCP连接时,数据库容量不足,IP_TABLE无法为新的TCP连接建立跟踪信息,于是表现为在connect()调用 中阻塞。此时就必须修改内核对最大跟踪的TCP连接数的限制,方法同修改内核对本地端口号范围的限制是类似的:
   第一步,修改/etc/sysctl.conf文件,在文件中添加如下行:
   net.ipv4.ip_conntrack_max = 10240
   这表明将系统对最大跟踪的TCP连接数限制设置为10240。请注意,此限制值要尽量小,以节省对内核内存的占用。
   第二步,执行sysctl命令:
   [speng@as4 ~]$ sysctl -p
   如果系统没有错误提示,就表明系统对新的最大跟踪的TCP连接数限制修改成功。如果按上述参数进行设置,则理论上单独一个进程最多可以同时建立10000多个TCP客户端连接。
3、使用支持高并发网络I/O的编程技术
   在Linux上编写高并发TCP连接应用程序时,必须使用合适的网络I/O技术和I/O事件分派机制。
   可用的I/O技术有同步I/O,非阻塞式同步I/O(也称反应式I/O),以及异步I/O。在高TCP并发的情形下,如果使用同步I/O,这会严重阻塞程 序的运转,除非为每个TCP连接的I/O创建一个线程。但是,过多的线程又会因系统对线程的调度造成巨大开销。因此,在高TCP并发的情形下使用同步 I/O是不可取的,这时可以考虑使用非阻塞式同步I/O或异步I/O。非阻塞式同步I/O的技术包括使用select(),poll(),epoll等机 制。异步I/O的技术就是使用AIO。
   从I/O事件分派机制来看,使用select()是不合适的,因为它所支持的并发连接数有限(通常在1024个以内)。如果考虑性能,poll()也是不 合适的,尽管它可以支持的较高的TCP并发数,但是由于其采用“轮询”机制,当并发数较高时,其运行效率相当低,并可能存在I/O事件分派不均,导致部分 TCP连接上的I/O出现“饥饿”现象。而如果使用epoll或AIO,则没有上述问题(早期Linux内核的AIO技术实现是通过在内核中为每个 I/O请求创建一个线程来实现的,这种实现机制在高并发TCP连接的情形下使用其实也有严重的性能问题。但在最新的Linux内核中,AIO的实现已经得 到改进)。
   综上所述,在开发支持高并发TCP连接的Linux应用程序时,应尽量使用epoll或AIO技术来实现并发的TCP连接上的I/O控制,这将为提升程序对高并发TCP连接的支持提供有效的I/O保证。

转载于:https://www.cnblogs.com/kenter/archive/2010/04/16/1713579.html

配置开发支持高并发TCP连接的Linux应用程序全攻略相关推荐

  1. 开发到上线仅 16 天,海外党研发微信小程序全攻略

    声明:本文来自伟哥带你哟哟哟公众号(微信号youyouyouchecknow),授权CSDN转载,如需转载请联系作者. 作者:刘伟,美国微软资深工程师,曾在Office365,Bing部门工作:西雅图 ...

  2. 一台服务器最大能支持多少条TCP连接

    一.一台服务器最大能打开的文件数 1.限制参数 我们知道在Linux中一切皆文件,那么一台服务器最大能打开多少个文件呢?Linux上能打开的最大文件数量受三个参数影响,分别是: fs.file-max ...

  3. 面试官:一台服务器最大能支持多少条 TCP 连接?问倒一大片。。。

    点关注公众号,回复"1024"获取2TB学习资源! 之前有一位读者向民工哥诉苦,有次面试,好不容易(今年行情大家都懂的)熬到到技术终面,谁知道面试官突然放个大招问他:一台服务器最大 ...

  4. 一台服务器最大能支持多少条 TCP 连接?问倒一大片。。。

    一台服务器最大能打开的文件数 限制参数 我们知道在Linux中一切皆文件,那么一台服务器最大能打开多少个文件呢?Linux上能打开的最大文件数量受三个参数影响,分别是: fs.file-max (系统 ...

  5. 面试官:一台服务器最大能支持多少条 TCP 连接?问倒一大片。

    程序员的成长之路 互联网/程序员/技术/资料共享 关注 阅读本文大概需要 10 分钟. 来自:juejin.cn/post/7162824884597293086 一台服务器最大能打开的文件数 调整服 ...

  6. 一台服务器最大能支持多少条 TCP 连接?面试官的话问倒一大片。。。

    一台服务器最大能打开的文件数 调整服务器能打开的最大文件数示例 一台服务器最大能支持多少连接 一台客户端机器最多能发起多少条连接 其他 相关实际问题 之前有一位读者向作者诉苦,有次面试,好不容易(今年 ...

  7. 万字干货 | Python后台开发的高并发场景优化解决方案

    嘉宾 | 黄思涵 来源 | AI科技大本营在线公开课 互联网发展到今天,规模变得越来越大,也对所有的后端服务提出了更高的要求.在平时的工作中,我们或多或少都遇到过服务器压力过大问题.针对该问题,本次公 ...

  8. java设计高并发内存池_高并发服务器-连接池的设计

    高并发服务器-连接池的设计 高并发服务器需要有一些池的设计,如内存池,连接池,数据库连接池. 池(pool)的设计主要考虑到一些资源的频繁申请和释放,尤其是在高并发的服务器中,几万甚至几十万并发每秒, ...

  9. 游戏陪玩app开发,高并发系统如何设计?

    高并发,几乎是每个程序员都想拥有的经验.原因很简单:随着流量变大,在游戏陪玩app开发中会遇到各种各样的技术问题,比如接口响应超时.CPU load升高.GC频繁.死锁.大数据量存储等等,这些问题能推 ...

  10. 猿创征文 | 微服务 Spring Boot 整合Redis 实战开发解决高并发数据缓存

    文章目录 一.什么是 缓存? ⛅为什么用缓存? ⚡如何使用缓存 二.实现一个商家缓存 ⌛环境搭建 ♨️核心源码 ✅测试接口 三.采用 微服务 Spring Boot 注解开启缓存 ✂️@CacheEn ...

最新文章

  1. 2 模版_轻量html模版渲染库 cJinja
  2. 调用支付宝PHP接口API实现在线即时支付功能(UTF-8编码)
  3. JavaSE项目之聊天室swing版
  4. Loadrunner常用15种的分析点
  5. 渗透测试 已学课时 1 个_我14岁上创业课时学到的东西
  6. python处理文件格式_python处理文本文件并生成指定格式的文件
  7. CentOS搭建全功能服务器(Nginx+Tomcat+PHP+SSL)
  8. node的module.exports和exports
  9. python依赖包冲突
  10. 密码只靠大脑记好累,有没有试过用群晖NAS来记?
  11. 深圳哪个驾校比较好?
  12. python SSLError HTTPSConnectionPool bad handshake
  13. 汽车材料QC/T 944-2013ELV中多溴联苯(PBBs)和多溴二苯醚(PBDEs)的检测
  14. aop - spring如何选择、创建代理bean
  15. 使用记事本编写Java程序的运行步骤及乱码问题
  16. 关于TASSEL_5的一个小问题
  17. Rstudio一个工程多个文件
  18. Endnote文献管理 分析 引用
  19. 信创环境下达梦数据库唯一索引异常无法拦截DuplicateKeyException
  20. Python使用xlwings创建新的Excel工作簿文件

热门文章

  1. BZOJ1076: [SCOI2008]奖励关【状压DP+期望DP】
  2. CTPN_论文阅读总结
  3. 51nod 1134最长递增子序列
  4. 【转】Windows XP打印共享四大问题及解决方法
  5. 【队列+模拟】机器翻译 luogu-1540
  6. WinForm timer 控件
  7. Yii GridView
  8. 不在更改国内网络账号的ID了
  9. 六自由度机械臂项目学习笔记
  10. Level-IP(Linux userspace TCP/IP stack)