当前环境

  1. jdk == 1.8

代码地址

git 地址:https://github.com/jasonGeng88/java-network-programming

知识点

  • nio 下 I/O 阻塞与非阻塞实现
  • SocketChannel 介绍
  • I/O 多路复用的原理
  • 事件选择器与 SocketChannel 的关系
  • 事件监听类型
  • 字节缓冲 ByteBuffer 数据结构

场景

接着上一篇中的站点访问问题,如果我们需要并发访问10个不同的网站,我们该如何处理?

在上一篇中,我们使用了java.net.socket类来实现了这样的需求,以一线程处理一连接的方式,并配以线程池的控制,貌似得到了当前的最优解。可是这里也存在一个问题,连接处理是同步的,也就是并发数量增大后,大量请求会在队列中等待,或直接异常抛出。

为解决这问题,我们发现元凶处在“一线程一请求”上,如果一个线程能同时处理多个请求,那么在高并发下性能上会大大改善。这里就借住 JAVA 中的 nio 技术来实现这一模型。

nio 的阻塞实现

关于什么是 nio,从字面上理解为 New IO,就是为了弥补原本 I/O 上的不足,而在 JDK 1.4 中引入的一种新的 I/O 实现方式。简单理解,就是它提供了 I/O 的阻塞与非阻塞的两种实现方式(当然,默认实现方式是阻塞的。)。

下面,我们先来看下 nio 以阻塞方式是如何处理的。

建立连接

有了上一篇 socket 的经验,我们的第一步一定也是建立 socket 连接。只不过,这里不是采用 new socket() 的方式,而是引入了一个新的概念 SocketChannel。它可以看作是 socket 的一个完善类,除了提供 Socket 的相关功能外,还提供了许多其他特性,如后面要讲到的向选择器注册的功能。

类图如下:

建立连接代码实现:

// 初始化 socket,建立 socket 与 channel 的绑定关系SocketChannel socketChannel = SocketChannel.open();// 初始化远程连接地址SocketAddress remote = new InetSocketAddress(this.host, port);// I/O 处理设置阻塞,这也是默认的方式,可不设置socketChannel.configureBlocking(true);// 建立连接socketChannel.connect(remote);

获取 socket 连接

因为是同样是 I/O 阻塞的实现,所以后面的关于 socket 输入输出流的处理,和上一篇的基本相同。唯一差别是,这里需要通过 channel 来获取 socket 连接。

  • 获取 socket 连接
Socket socket = socketChannel.socket();
  • 处理输入输出流
PrintWriter pw = getWriter(socketChannel.socket());BufferedReader br = getReader(socketChannel.socket());

完整示例

package com.jason.network.mode.nio;import com.jason.network.constant.HttpConstant;import com.jason.network.util.HttpUtil;import java.io.*;import java.net.InetSocketAddress;import java.net.Socket;import java.net.SocketAddress;import java.nio.channels.SocketChannel;public class NioBlockingHttpClient { private SocketChannel socketChannel; private String host; public static void main(String[] args) throws IOException { for (String host: HttpConstant.HOSTS) { NioBlockingHttpClient client = new NioBlockingHttpClient(host, HttpConstant.PORT); client.request(); } } public NioBlockingHttpClient(String host, int port) throws IOException { this.host = host; socketChannel = SocketChannel.open(); socketChannel.socket().setSoTimeout(5000); SocketAddress remote = new InetSocketAddress(this.host, port); this.socketChannel.connect(remote); } public void request() throws IOException { PrintWriter pw = getWriter(socketChannel.socket()); BufferedReader br = getReader(socketChannel.socket()); pw.write(HttpUtil.compositeRequest(host)); pw.flush(); String msg; while ((msg = br.readLine()) != null){ System.out.println(msg); } } private PrintWriter getWriter(Socket socket) throws IOException { OutputStream out = socket.getOutputStream(); return new PrintWriter(out); } private BufferedReader getReader(Socket socket) throws IOException { InputStream in = socket.getInputStream(); return new BufferedReader(new InputStreamReader(in)); }}

nio 的非阻塞实现

原理分析

nio 的阻塞实现,基本与使用原生的 socket 类似,没有什么特别大的差别。

下面我们来看看它真正强大的地方。到目前为止,我们将的都是阻塞 I/O。何为阻塞 I/O,看下图:

我们主要观察图中的前三种 I/O 模型,关于异步 I/O,一般需要依靠操作系统的支持,这里不讨论。

从图中可以发现,阻塞过程主要发生在两个阶段上:

  • 第一阶段:等待数据就绪;
  • 第二阶段:将已就绪的数据从内核缓冲区拷贝到用户空间;

这里产生了一个从内核到用户空间的拷贝,主要是为了系统的性能优化考虑。假设,从网卡读到的数据直接返回给用户空间,那势必会造成频繁的系统中断,因为从网卡读到的数据不一定是完整的,可能断断续续的过来。通过内核缓冲区作为缓冲,等待缓冲区有足够的数据,或者读取完结后,进行一次的系统中断,将数据返回给用户,这样就能避免频繁的中断产生。

了解了 I/O 阻塞的两个阶段,下面我们进入正题。看看一个线程是如何实现同时处理多个 I/O 调用的。从上图中的非阻塞 I/O 可以看出,仅仅只有第二阶段需要阻塞,第一阶段的数据等待过程,我们是不需要关心的。不过该模型是频繁地去检查是否就绪,造成了 CPU 无效的处理,反而效果不好。如果有一种类似的好莱坞原则— “不要给我们打电话,我们会打给你” 。这样一个线程可以同时发起多个 I/O 调用,并且不需要同步等待数据就绪。在数据就绪完成的时候,会以事件的机制,来通知我们。这样不就实现了单线程同时处理多个 IO 调用的问题了吗?即所说的“I/O 多路复用模型”。


废话讲了一大堆,下面就来实际操刀一下。

创建选择器

由上面分析可以,我们得有一个选择器,它能监听所有的 I/O 操作,并且以事件的方式通知我们哪些 I/O 已经就绪了。

代码如下:

import java.nio.channels.Selector;...private static Selector selector;static { try { selector = Selector.open(); } catch (IOException e) { e.printStackTrace(); }}

创建非阻塞 I/O

下面,我们来创建一个非阻塞的 SocketChannel,代码与阻塞实现类型,唯一不同是socketChannel.configureBlocking(false)。

注意:只有在socketChannel.configureBlocking(false)之后的代码,才是非阻塞的,如果socketChannel.connect()在设置非阻塞模式之前,那么连接操作依旧是阻塞调用的。

SocketChannel socketChannel = SocketChannel.open();SocketAddress remote = new InetSocketAddress(host, port);// 设置非阻塞模式socketChannel.configureBlocking(false);socketChannel.connect(remote);

建立选择器与 socket 的关联

选择器与 socket 都创建好了,下一步就是将两者进行关联,好让选择器和监听到 Socket 的变化。这里采用了以 SocketChannel 主动注册到选择器的方式进行关联绑定,这也就解释了,为什么不直接new Socket(),而是以SocketChannel的方式来创建 socket。

代码如下:

socketChannel.register(selector, SelectionKey.OP_CONNECT | SelectionKey.OP_READ | SelectionKey.OP_WRITE);

上面代码,我们将 socketChannel 注册到了选择器中,并且对它的连接、可读、可写事件进行了监听。

具体的事件监听类型如下:

操作类型值描述所属对象OP_READ1 << 0读操作SocketChannelOP_WRITE1 << 2写操作SocketChannelOP_CONNECT1 << 3连接socket操作SocketChannelOP_ACCEPT1 << 4接受socket操作ServerSocketChannel

选择器监听 socket 变化

现在,选择器已经与我们关心的 socket 进行了关联。下面就是感知事件的变化,然后调用相应的处理机制。

这里与 Linux 下的 selector 有点不同,nio 下的 selecotr 不会去遍历所有关联的 socket。我们在注册时设置了我们关心的事件类型,每次从选择器中获取的,只会是那些符合事件类型,并且完成就绪操作的 socket,减少了大量无效的遍历操作。

public void select() throws IOException { // 获取就绪的 socket 个数 while (selector.select() > 0){ // 获取符合的 socket 在选择器中对应的事件句柄 key Set keys = selector.selectedKeys(); // 遍历所有的key Iterator it = keys.iterator(); while (it.hasNext()){ // 获取对应的 key,并从已选择的集合中移除 SelectionKey key = (SelectionKey)it.next(); it.remove(); if (key.isConnectable()){ // 进行连接操作 connect(key); } else if (key.isWritable()){ // 进行写操作 write(key); } else if (key.isReadable()){ // 进行读操作 receive(key); } } }}

注意:这里的selector.select()是同步阻塞的,等待有事件发生后,才会被唤醒。这就防止了 CPU 空转的产生。当然,我们也可以给它设置超时时间,selector.select(long timeout)来结束阻塞过程。

处理连接就绪事件

下面,我们分别来看下,一个 socket 是如何来处理连接、写入数据和读取数据的(这些操作都是阻塞的过程,只是我们将等待就绪的过程变成了非阻塞的了)。

处理连接代码:

// SelectionKey 代表 SocketChannel 在选择器中注册的事件句柄private void connect(SelectionKey key) throws IOException { // 获取事件句柄对应的 SocketChannel SocketChannel channel = (SocketChannel) key.channel(); // 真正的完成 socket 连接 channel.finishConnect(); // 打印连接信息 InetSocketAddress remote = (InetSocketAddress) channel.socket().getRemoteSocketAddress(); String host = remote.getHostName(); int port = remote.getPort(); System.out.println(String.format("访问地址: %s:%s 连接成功!

java nio 多路复用_JAVA NIO 一步步构建I/O多路复用的请求模型相关推荐

  1. java nio多路复用_Java NIO系列教程(六) 多路复用器Selector

    多路复用器Selector是Java NIO编程的基础,熟练地掌握Selector对于掌握NIO编程至关重要.多路复用器提供选择已经就绪的任务的能力.简单来讲,Selector会不断地轮询注册在其上的 ...

  2. java nio设计模式_Java NIO:浅析I/O模型

    也许很多朋友在学习NIO的时候都会感觉有点吃力,对里面的很多概念都感觉不是那么明朗.在进入Java NIO编程之前,我们今天先来讨论一些比较基础的知识:I/O模型.下面本文先从同步和异步的概念 说起, ...

  3. java nio 事件_Java NIO原理及实例

    Java NIO是在jdk1.4开始使用的,它既可以说成"新I/O",也可以说成非阻塞式I/O.下面是java NIO的工作原理: 1. 由一个专门的线程来处理所有的 IO 事件, ...

  4. java bytebuffer 读写_java nio bytebuffer文件读写问题

    为什么下面的代码从文件中读不出3和2来?importjava.io.FileInputStream;importjava.io.FileOutputStream;importjava.io.IOExc ...

  5. java nio 详_java nio详解

    一. 分布式rpc框架有很多,比如dubbo,netty,还有很多其他的产品.但他们大部分都是基于nio的, nio是非阻塞的io,那么它的内部机制是怎么实现的呢. 1.由一个专门的线程处理所有IO事 ...

  6. mysql io nio区别_Java NIO和IO的区别

    Java NIO Java NIO(New IO)是从Java 1.4版本开始引入的一个新的IO API,可以替代标准的Java IO API.NIO与原来的IO有同样的作用和目的,但是使用 的方式完 ...

  7. java nio 连接数_Java NIO 基础一 NIO概念

    我们都知道IO包括磁盘IO和网络IO,相对于CPU的速度,IO性能差了好几个数量级,应用程序的瓶颈主要在IO这块. NIO的出现就是为了优化IO性能,JDK1.4之前IO都是使用流来进行IO操作,流操 ...

  8. java socket nio 阻塞_Java NIO实现非阻塞式socket通信

    博主知识水平有限,只能提供一个个人的狭隘的理解,如果有新人读到这儿,建议看一下其他教程或者API,如果不明白,再来看一下:如果有dalao读到这儿,希望能指出理解中的问题~谢谢 Java提供了用于网络 ...

  9. java nio 文件_Java nio 的文件处理

    一.创建一个大文件 下载文件时往往会创建一个指定大小的空文件 package com.lazy.nio; import java.io.IOException; import java.nio.Byt ...

  10. java nio 阻塞_Java NIO和传统阻塞IO

    传统的阻塞IO我就不多说,因为之前我发过几篇使用传统阻塞IO做QQ聊天写的几篇文章,服务器端每得到一个新的连接就开一个线程,在这个线程中接收数据方向是阻塞的,​​ 这种方式对性能的开销是非常大的,总结 ...

最新文章

  1. 计算机内存知识txt,计算机新手必备内存实用知识.docx
  2. network重启失败原因
  3. mybatis 查询的时间不对_程序员,Mybatis 你踩过坑吗?
  4. 10494,没过,待解决,大数除法
  5. Oracle传输表空间介绍
  6. 开放课程管理系统(Moodle)的介绍(转)
  7. Readhat中升级openssh
  8. 【Java】睡眠排序
  9. Vue-cli(四) 项目中引入Axios
  10. 【POJ3277】City Horizon,线段树
  11. alwayson高可用组_AlwaysOn可用性组–好奇心使您的工作更轻松–第4部分
  12. 如何从JavaScript对象中删除键? [重复]
  13. jquery.pagination 分页插件使用代码
  14. Linux 基础——权限管理命令chown、chgrp
  15. 美团在ACL2021上提出基于对比学习的文本表示模型,效果提升8%
  16. 高中女销售学Linux云计算4个月搞定年薪12万
  17. 迅雷离线下载怎么使用?迅雷离线下载使用方法
  18. 2022.10.23高沿坪易地扶贫 霜降
  19. win7怎样更改桌面计算机图标,教您电脑如何更改桌面图标
  20. python excel处理重复行并统计个数_python统计一个文本中重复行数的方法

热门文章

  1. Linux驱动中相关函数查询
  2. 中国要做物联网技术的强国,而非大国
  3. 软件开发工作过程中的一些总结
  4. 【Spring】13、使用Spring 3的@value简化配置文件的读取
  5. gitgrab.sh
  6. chroot环境的快速构建
  7. 德鲁克:终生难忘的7堂课
  8. 关于ext4 simg fill chunk type
  9. mysql数据库集群版_MySQL数据库集群实战
  10. LINUX内核协议栈分析初探