基本的IO编程过程(包括网络IO和文件IO)是,打开文件描述符(windows是handler,java是stream或channel),多路捕获(Multiplexe,即select和poll和epoll)IO可读写的状态,而后可以读写的文件描述符进行IO读写,由于IO设备速度和CPU内存比速度会慢,为了更好的利用CPU和内存,会开多线程,每个线程读写一个文件描述符。

但C10K问题,让我们意识到在超大数量的网络连接下,机器设备和网络速度不再是瓶颈,瓶颈在于操作系统和IO应用程序的沟通协作的方式。

举个例子,一万个socket连接过来,传统的IO编程模型要开万个线程来应对,还要注意,socket会关闭打开,一万个线程要不断的关闭线程重建线程,资源都浪费在这上面了,我们算建立一个线程耗1M内存,1万个线程机器至少要10G内存,这在IA-32的机器架构下基本是不可能的(要开PAE),现在x64架构才有可能舒服点,要知道,这仅仅是粗略算的内存消耗。别的资源呢?

所以,高性能的网络编程(即IO编程),第一,需要松绑IO连接和应用程序线程的对应关系,这就是非阻塞(nonblocking)、异步(asynchronous)的要求的由来(构造一个线程池,epoll监控到有数的fd,把fd传入线程池,由这些worker

thread来读写io)。第二,需要高性能的OS对IO设备可读写(数据来了)的通知方式:从level-triggered

notification到edge-triggered notification,关于这个通知方式,我们稍后谈。

需要注意异步,不等于AIO(asynchronous

IO),linux的AIO和java的AIO都是实现异步的一种方式,都是渣,这个我们也接下来会谈到。

针对前面说的这两点,我们看看select和poll的问题

这两个函数都在每次调用的时候要求我们把需要监控(看看有没有数据)的文件描述符,通过数组传递进入内核,内核每次都要扫描这些文件描述符,去理解它们,建立一个文件描述符和IO对应的数组(实际内核工作会有好点的实现方式,但可以这么理解先),以便IO来的时候,通知这些文件描述符,进而通知到进程里等待的这些select、poll。当有一万个文件描述符要监控的时候呢(一万个网络连接)?这个工作效率是很低的,资源要求却很高。

我们看epoll

epoll很巧妙,分为三个函数,第一个函数创建一个session类似的东西,第二函数告诉内核维持这个session,并把属于session内的fd传给内核,第三个函数epoll_wait是真正的监控多个文件描述符函数,只需要告诉内核,我在等待哪个session,而session内的fd,内核早就分析过了,不再在每次epoll调用的时候分析,这就节省了内核大部分工作。这样每次调用epoll,内核不再重新扫描fd数组,因为我们维持了session。

说道这里,只有一个字,开源,赞,众人拾柴火焰高,赞。

epoll的效率还不仅仅体现在这里,在内核通知方式上,也改进了,我们先看select和poll的通知方式,也就是level-triggered

notification,内核在被DMA中断,捕获到IO设备来数据后,本来只需要查找这个数据属于哪个文件描述符,进而通知线程里等待的函数即可,但是,select和poll要求内核在通知阶段还要继续再扫描一次刚才所建立的内核fd和io对应的那个数组,因为应用程序可能没有真正去读上次通知有数据后的那些fd,应用程序上次没读,内核在这次select和poll调用的时候就得继续通知,这个os和应用程序的沟通方式效率是低下的。只是方便编程而已(可以不去读那个网络io,方正下次会继续通知)。

于是epoll设计了另外一种通知方式:edge-triggered

notification,在这个模式下,io设备来了数据,就只通知这些io设备对应的fd,上次通知过的fd不再通知,内核不再扫描一大堆fd了。

基于以上分析,我们可以看到epoll是专门针对大网络并发连接下的os和应用沟通协作上的一个设计,在linux下编网络服务器,必然要采用这个,nginx、php的国产异步框架swool、varnish,都是采用这个。

注意还要打开epoll的edge-triggered

notification。而java的NIO和NIO.2都只是用了epoll,没有打开edge-triggered

notification,所以不如JBoss的Netty。

接下来我们谈谈AIO的问题,AIO希望的是,你select,poll,epoll都需要用一个函数去监控一大堆fd,那么我AIO不需要了,你把fd告诉内核,你应用程序无需等待,内核会通过信号等软中断告诉应用程序,数据来了,你直接读了,所以,用了AIO可以废弃select,poll,epoll。

但linux的AIO的实现方式是内核和应用共享一片内存区域,应用通过检测这个内存区域(避免调用nonblocking的read、write函数来测试是否来数据,因为即便调用nonblocking的read和write由于进程要切换用户态和内核态,仍旧效率不高)来得知fd是否有数据,可是检测内存区域毕竟不是实时的,你需要在线程里构造一个监控内存的循环,设置sleep,总的效率不如epoll这样的实时通知。所以,AIO是渣,适合低并发的IO操作。所以java7引入的NIO.2引入的AIO对高并发的网络IO设计程序来说,也是渣,只有Netty的epoll+edge-triggered

notification最牛,能在linux让应用和OS取得最高效率的沟通。

注:阻塞IO和异步IO基本是一个意思,只是描述同一个东西的不同方面。

In computer science, asynchronous I/O, or non-blocking

I/O is a form of input/output

processing that permits other processing

to continue before thetransmission

has finished.

epoll nio区别_高性能网络服务器编程:为什么linux下epoll是最好,Netty要比NIO.2好?...相关推荐

  1. 服务器运维用macos,MacOS和Linux区别_网站服务器运行维护,linux,macos

    MacOS catalina升级后Vmware黑屏的问题解决_网站服务器运行维护 macOS Catalina是苹果macOS全新版本.本文就来为大家介绍一下MacOS catalina升级后Vmwa ...

  2. linux文件服务有哪些,linux有哪些文件系统?_网站服务器运行维护,linux

    linux运维学什么知识?_网站服务器运行维护 linux运维需要学的知识:1.Linux基础知识.linux操作系统:2.bash脚本编程:3.文本处理命令:4.数据库:5.防火墙:6.监控工具:7 ...

  3. linux运行隐藏文件,Linux下如何隐藏文件_网站服务器运行维护,Linux,隐藏文件

    linux系统怎样安装软件_网站服务器运行维护 linux系统安装软件的方法:1.使用apt命令进行安装,如[apt install app_name]:2.使用rpm命令进行安装,如[rpm -i ...

  4. linux下epoll如何实现高效处理

    linux下epoll如何实现高效处理 作者 digoal 日期 2016-11-10 标签 Linux , 内核 , epoll , 网络编程 , 高并发 背景 本文转自 http://www.cn ...

  5. linux按照mysql为何如此简单_手把手教你在Linux下安装MySQL

    在Linux操作系统下,安装MYSQL有两种方式:一种tar安装方式,另外一种是rpm安装方式.这两种安装方式有什么区别呢?尽管我们在Linux下常用tar来压缩/解压缩文件,但MYSQL的tar格式 ...

  6. linux 解压文件乱码,云服务器:解决linux下zip文件解压乱码问题

    云服务器:解决linux下zip文件解压乱码问题 原因 由于zip格式并没有指定编码格式,Windows下生成的zip文件中的编码是GBK/GB2312等,因此,导致这些zip文件在Linux下解压时 ...

  7. 【云服务器部署】---Linux下安装MySQL

    [云服务器部署]---Linux下安装MySQL 有关如何阿里云ECS建网站,推荐一片文章,我是是通过这篇文章安装tomcat和jdk的 网址:阿里云ECS建网站(建站)超详细全套完整图文教程! 注意 ...

  8. epoll nio区别_【总结】两种 NIO 实现:Selector 与 Epoll

    我想用这个话题小结下最近这一阶段的各种测试和开发.其实文章的内容主要还是想总结一下 NIO Socket ,以及两种不同操作系统实现 NIO 的方式, selector 和 epoll . 问题应该从 ...

  9. epoll nio区别_大厂面试系列(二)::NIO和Netty

    NIO和Netty面试题 NIO 阐述 NIO原理? BIO/NIO/AIO有什么区别?有那些实现? 讲讲NIO的原理与实现?NIO用到了哪个经典技术思想?JDK1.8中NIO有做什么优化 了解多路复 ...

最新文章

  1. 推荐一个 Java 实体映射工具 MapStruct
  2. 使用 Newtonsoft.Json; 序列化正常,反序列化异常的一点思考
  3. python开源流程图软件_Dia
  4. springboot mysql时区设置_java/springboot/mysql时区问题解决方案
  5. Linux shell 脚本SDK 打包实践, 收集assets和apk, 上传FTP
  6. 倍受好评的美国主机JustHost使用全攻略教程
  7. linux mint 自动更新设置,如何升级到Linux Mint 19.1
  8. 【Flink】Flink 控制台能消费 但是 Flink 任务不能消费 内置topic 导致问题
  9. javascript单元测试
  10. 终端下vim无法输入问题解决
  11. Python入门--代码调式
  12. Linux Shell脚本编程-语句控制
  13. 全网最全的划分VLAN的方法,走过路过不要错过
  14. 小学生春天计算机绘画图片,小学生绘画作品图片春天
  15. passenger 部署
  16. 【iOS】—— 调用手机相机和相册
  17. Activity及其生命周期小结
  18. CreateProcess的用法
  19. 期货交易原理(期货交易原理与实务)
  20. AliOS Things物联网操作系统

热门文章

  1. Silverlight 2 搜索照片
  2. leetcode 179 python
  3. python的print怎么输出utf-8的编码_原创反转精度算法:小数的终极编码
  4. java pdf水印排布问题_java 实现 PDF 加水印功能
  5. 一文搞懂Oracle 0 至 6 级锁(附案例详解)
  6. 千头万绪:从一道面试题看数据库性能和安全的方方面面
  7. 一文带你从零认识什么是XLA
  8. 开发好能重构的代码,都是这么干的
  9. 【我的物联网成长记3】如何开发物联网应用?
  10. Vue源码中compiler部分逻辑梳理(内有彩蛋)