假设有一个系统有时需要将文件复制到几个位置,但是这种方式在响应速度至关重要的情况下。 换句话说,如果由于某种原因文件系统过载,并且我们无法在不到一秒钟的时间内写入文件,则应该放弃。

ExecutorService是一项非常方便的工作工具。 您可以轻松地将其用于并行执行多个任务(每个任务都写入不同的文件系统)。 Yuo还可以告诉它在超时后放弃,它将为您打断他们。 完美,正是我们所需要的。

脚手架看起来像这样:

void testCopy() throws Exception {ThreadPoolExecutor exec = (ThreadPoolExecutor) Executors.newCachedThreadPool();final long start = System.currentTimeMillis();Callable<Object> task = new Callable<Object>() {@Overridepublic Object call() throws Exception {try {copy("a.bin", "b.bin");} catch (Exception e) {e.printStackTrace();}System.out.println("Call really finished after: "+ (System.currentTimeMillis() - start));return null;}};Collection<Callable<Object>> taskWrapper = Arrays.asList(task);List<Future<Object>> futures = exec.invokeAll(taskWrapper, 50,TimeUnit.MILLISECONDS);System.out.println("invokeAll finished after: "+ (System.currentTimeMillis() - start));System.out.println("Future.isCancelled? "+ futures.get(0).isCancelled());Thread.sleep(20);System.out.println("Threads still active: " + exec.getActiveCount());
}

为了在低负载的运行状况良好的系统上模拟对超时的响应,我使用了100 MB的文件并且超时非常短。 任务总是超时,我的系统无法在50毫秒内复制100 MB。

我期望得到以下结果:

  1. 大约50毫秒后, invokeAll完成。
  2. Future.isCancelled? 是真的。
  3. 活动线程计数为0。通过睡眠可以消除某些边缘情况。 长话短说,它给了复制功能一些时间来检测中断。
  4. 通话大约在50毫秒后真正结束。 这非常重要,我绝对不希望取消任务后继续执行IO操作。 在较高的负载下,这会导致过多的线程卡在虚假的IO中。

以防万一,这些测试是在64位Windows 7上的Oracle 1.6 JVM上运行的。

解决方案1:流复制

第一次尝试可能很简单-使用带有缓冲区和经典IO的循环,如下所示:

private void copy(String in, String out) throws Exception {FileInputStream fin = new FileInputStream(in);FileOutputStream fout = new FileOutputStream(out);byte[] buf = new byte[4096];int read;while ((read = fin.read(buf)) > -1) {fout.write(buf, 0, read);}fin.close();fout.close();
}

这就是所有流行的流复制库做的,包括IOUtils Apache的共享和ByteStreams番石榴。

它也不幸地失败了:

invokeAll finished after: 53
Future.isCancelled? true
Threads still active: 1
Call really finished after: 338

原因很明显:在循环中或任何地方都不检查线程中断状态,因此线程可以正常继续。

解决方案2:通过复制检查流是否中断

让我们解决这个问题! 一种方法是:

while ((read = fin.read(buf)) > -1) {fout.write(buf, 0, read);if (Thread.interrupted()) {throw new IOException("Thread interrupted, cancelling");}
}

现在可以正常工作了,打印:

invokeAll finished after: 52
java.io.IOException: Thread interrupted, cancellingat TransferTest.copyInterruptingStream(TransferTest.java:75)at TransferTest.access$0(TransferTest.java:66)at TransferTest$1.call(TransferTest.java:25)at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)at java.util.concurrent.FutureTask.run(FutureTask.java:138)at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)Future.isCancelled? trueat java.lang.Thread.run(Thread.java:662)Call really finished after: 53
Threads still active: 0

很好,但是我觉得不满意。 它看起来很脏,我对自己的IO库中的这段代码并不特别满意。 必须有更好的方法,这将我们带到……

解决方案3:带传输的NIO

NIO具有这个不错的功能,它实际上尊重线程中断。 如果在线程中断后尝试读取或写入通道,则会收到ClosedByInterruptException

那正是我所需要的。 由于某种原因,我还在StackOverflow上阅读了以下答案 :

“如果不需要,请不要使用缓冲区。 如果目标是其他磁盘或NIC,为什么还要复制到内存中? 对于较大的文件,确保的延迟是不平凡的。 (…)使用FileChannel.transferTo()FileChannel.transferFrom() 。 此处的主要优势在于,JVM使用操作系统对DMA(直接内存访问)的访问(如果存在)。 (这取决于实现方式,但是可以在通用CPU上使用现代的Sun和IBM版本。)发生的情况是,数据直接通过/从磁盘,到总线,再到目的地……直接通过RAM传递任何电路或CPU。”

太好了,让我们做吧!

private void copy(String in, String out) throws Exception {FileChannel fin = new FileInputStream(in).getChannel();FileChannel fout = new FileOutputStream(out).getChannel();fout.transferFrom(fin, 0, new File(in).length());fin.close();fout.close();
}

输出:

invokeAll finished after: 52
Future.isCancelled? true
Threads still active: 1
java.nio.channels.ClosedByInterruptExceptionat java.nio.channels.spi.AbstractInterruptibleChannel.end(AbstractInterruptibleChannel.java:184)at sun.nio.ch.FileChannelImpl.size(FileChannelImpl.java:304)at sun.nio.ch.FileChannelImpl.transferFrom(FileChannelImpl.java:587)at TransferTest.copyNioTransfer(TransferTest.java:91)at TransferTest.access$0(TransferTest.java:87)at TransferTest$1.call(TransferTest.java:27)at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)at java.util.concurrent.FutureTask.run(FutureTask.java:138)at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)at java.lang.Thread.run(Thread.java:662)
Call really finished after: 146

我所要做的只是简单地调用transferFrom 。 非常简洁,并承诺会从硬件和操作系统中获得如此多的支持……但是请稍等一下,为什么要花146毫秒? 我的意思是,146毫秒比第一次测试中的338毫秒快得多,但是我希望它在50毫秒后终止。

让我们在更大的文件(大约1.5 GB)上重复测试:

invokeAll finished after: 9012
Future.isCancelled? true
Threads still active: 1
java.nio.channels.ClosedByInterruptExceptionat java.nio.channels.spi.AbstractInterruptibleChannel.end(AbstractInterruptibleChannel.java:184)(...)
Call really finished after: 9170

那有多可怕? 这可能是可能发生的最糟糕的事情:

  • 任务未及时中断。 9秒太长了,我预计大约50毫秒。
  • 在整个操作过程中(9秒), invokeAll被阻止。 我勒个去?

解决方案4 –带缓冲的NIO

事实证明,我确实需要一些缓冲。 让我们尝试一下:

private void copyNioBuffered(String in, String out) throws Exception {FileChannel fin = new FileInputStream(in).getChannel();FileChannel fout = new FileOutputStream(out).getChannel();ByteBuffer buff = ByteBuffer.allocate(4096);while (fin.read(buff) != -1 || buff.position() > 0) {buff.flip();fout.write(buff);buff.compact();}fin.close();fout.close();
}

输出:

invokeAll finished after: 52
Future.isCancelled? true
java.nio.channels.ClosedByInterruptExceptionat java.nio.channels.spi.AbstractInterruptibleChannel.end(AbstractInterruptibleChannel.java:184)at sun.nio.ch.FileChannelImpl.write(FileChannelImpl.java:203)at TransferTest.copyNioBuffered(TransferTest.java:105)at TransferTest.access$0(TransferTest.java:98)at TransferTest$1.call(TransferTest.java:29)at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)at java.util.concurrent.FutureTask.run(FutureTask.java:138)at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)at java.lang.Thread.run(Thread.java:662)
Call really finished after: 55
Threads still active: 0

现在正是我所需要的。 它本身就考虑到中断,因此我不需要整个IO实用程序进行那些繁琐的检查。 怪癖:不同类型的频道

如果我的IO实用程序仅用于复制按名称获取的文件,如下所示:

static public void copy(String source, String destination)

…然后很容易为NIO重写方法。

但是,如果它是在流上运行的更通用的签名,该怎么办?

static public void copy(InputStream source, OutputStream destination)

NIO有一个Channels实用程序,它具有非常有用的方法,例如:

public static ReadableByteChannel newChannel(InputStream in)
public static WritableByteChannel newChannel(OutputStream out)

因此,似乎我们可以使用此帮助程序包装流并从可中断的NIO API中受益。 在我们查看源代码之前:

public static WritableByteChannel newChannel(final OutputStream out) {if (out == null) {throw new NullPointerException();}if (out instanceof FileOutputStream &&FileOutputStream.class.equals(out.getClass())) {return ((FileOutputStream)out).getChannel();}return new WritableByteChannelImpl(out);
}private static class WritableByteChannelImplextends AbstractInterruptibleChannel // Not really interruptibleimplements WritableByteChannel
{
// ... Ignores interrupts completely

小心! 如果您的流是文件流,它们将是可中断的。 否则,您很不走运–它只是一个愚蠢的包装器,更像是API兼容性的适配器。 假设杀死,总是检查源头。

参考: IO与NIO – 松鼠博客上来自我们JCG合作伙伴 Konrad Garus的中断,超时和缓冲区 。

翻译自: https://www.javacodegeeks.com/2012/07/io-vs-nio-interruptions-timeouts-and.html

IO与NIO –中断,超时和缓冲区相关推荐

  1. io和nio的缓冲_IO与NIO –中断,超时和缓冲区

    io和nio的缓冲 假设有一个系统有时需要将文件复制到几个位置,但是这种方式在响应能力至关重要的情况下. 换句话说,如果由于某种原因文件系统过载,而我们无法在不到一秒钟的时间内写入文件,它应该放弃. ...

  2. Java之IO,BIO,NIO,AIO

    2019独角兽企业重金招聘Python工程师标准>>> 参考文献一 IO基础知识回顾 java的核心库java.io提供了全面的IO接口.包括:文件读写.标准设备输出等.Java中I ...

  3. IO: BIO ? NIO ? AIO?

    IO的方式通常分为几种,同步阻塞的BIO.同步非阻塞的NIO.异步非阻塞的AIO. 一.BIO 在JDK1.4出来之前,我们建立网络连接的时候采用BIO模式,需要先在服务端启动一个ServerSock ...

  4. Socket IO与NIO(三)

    Socket-TCP快速入门: TCP是什么? 英语:Transmission Control Protocal,缩写为TCP [træns'mɪʃən]n. 传动装置,[机] 变速器:传递:传送:播 ...

  5. JAVA IO 以及 NIO 理解

    原文 由于Netty,了解了一些异步IO的知识,JAVA里面NIO就是原来的IO的一个补充,本文主要记录下在JAVA中IO的底层实现原理,以及对Zerocopy技术介绍. IO,其实意味着:数据不停地 ...

  6. Java中的IO、NIO、File、BIO、AIO详解

    java中有几种类型的流?JDK为每种类型的流提供了一些抽象类以供继承,请说出他们分别是哪些类?         Java中的流分为两种,一种是字节流,另一种是字符流,分别由四个抽象类来表示(每种流包 ...

  7. Netty入门--传统IO与NIO详解

    文章目录 IO模型 传统阻塞的IO模型--BIO Client端案例 Server端案例 NIO(Java non-blocking IO)非阻塞IO NIO的三大组件 Channel Selecto ...

  8. 网络编程——使用更简洁且性能高效的Okio库来做IO和NIO

    文章大纲 引言 一.Okio 概述 二.Okio的核心元素 1.[Okio的两种数据类型](https://square.github.io/okio/#bytestrings-and-buffers ...

  9. 分别基于IO、NIO、Netty的Java网络程序

    分别基于IO.NIO.Netty的Java网络程序 IDE:IntelliJ IDEA 文章目录 分别基于IO.NIO.Netty的Java网络程序 一.Java NIO 1.1 NIO与传统IO对比 ...

最新文章

  1. 姚期智担纲,清华今日成立量子信息本科班!“着眼学术尖端,致力国家战略需求“...
  2. [HTML/CSS]margin属性用法
  3. 从零开始搭建spring-cloud(2) ----ribbon
  4. CF889E-Mod Mod Mod【dp】
  5. 项目管理之道之沟通管理-外部接口只能有一个
  6. java开发中jdbc连接数据 库的操作代码
  7. 业务gis 怎么让别的开发人员不需要懂gis就可以搞开发? (五)
  8. 经典线程同步 关键段CS
  9. 中国抗衰老护肤品市场趋势报告、技术动态创新及市场预测
  10. Android 学习资源收集
  11. CPDA|数据分析师需要具备哪些基本功?
  12. 网络地址转换—NAT——总结
  13. Mac小技巧:五秒学会Mac电脑旋转屏幕
  14. 找对英语学习方法的第一本书 PDF 带完整的目录
  15. dev/sda1 磁盘满了,导致ubuntu启动显示/dev/sda1: clean, 798946/2621440 files , 1021098/10485248 clocks
  16. 计算机一级考试文件夹移动怎么操作,怎么用键盘移动文件夹而不用鼠标?电脑老师下的任务、、、...
  17. c语言编程实现简单三子棋游戏
  18. 计算机网络和信息安全-网络安全
  19. 工科研究生常用的网站
  20. iOS系统中判断设备类型

热门文章

  1. nginx停止,平滑重启命令
  2. 调用toString()方法的注意事项
  3. java流与文件——内存映射文件
  4. 如何导入hadoop源码到eclipse
  5. 快速排序算法思想及实现
  6. 设置Elasticsearch N-Gram字分析器的过程
  7. HibernateNONSTRICT_READ_WRITE CacheConcurrencyStrategy如何工作
  8. osgi:install_OSGi服务测试助手:ServiceRegistrationRule
  9. javadoc 标签_新的Javadoc标签@ apiNote,@ implSpec和@implNote
  10. mongodb启动不能锁定_使用MongoDB进行乐观锁定重试