大家好,我是阿飞云

怕什么真理无穷,进一步有近一步的欢喜

今天我们聊一个异常:java.io.IOException: Broken pipe,为什么会报这个异常,这个异常要怎么解决?以及最后偶遇外国小哥~

问题描述

最近遇到的一个小问题,希望对你有帮助。前几日在排查一个问题的时候,看到有几台服务器上日志偶发会打印这个错误 Caused by: java.io.IOException: Broken pipe 。

下面贴了详细堆栈信息截图:

看堆栈信息是在写数据的时候,抛出了 IOException 异常,然后被 tomcat 中捕获抛出 ClientAbortException: java.io.IOException: Broken pipe。

跟踪了整个调用,发现业务处理是正常的,服务端也打印了响应需求返回的数据,但就是报了这个错误。还是怕这个异常对业务产生影响,于是检查了一下抛出这个异常产生的前后日志,发现只有一个接口会有这个问题。但这个也是偶现的,并不是每次请求就会抛这个异常。这更加让人迷惑。

于是去查了查相关资料,简单说一下Broken pipe。服务端向客户端的socket连接管道写返回数据时,链接(pipe)却断了!出现这个异常的可能原因:

1、客户端请求服务器数据,服务器突然挂了;

2、Tomcat的connector在执行写操作的时候发生的,客户端读取超时关闭了连接,这时候服务器端再向客户端已经断开的连接写数据时就发生了broken pipe异常!

服务端肯定是没有挂的,可以排除第一点。那就是第二点了,大概率应该客户端自己的问题嘛,你断开了连接导致的我服务端没法写回数据了,然后就异常了,这是不是可以甩锅了~

模拟验证

秉着“科学严谨”的甩锅思路,对比了这个接口正常和异常情况下,入参和出参,以及响应时间。发现正常情况下响应时间10s,异常情况下响应时间高达40s,并且响应的数据量巨大。因为这个接口是第三方调用的,简单推测,应该是第三方调用此接口的时候设置了超时时间,超时后关闭了连接,导致服务端没法写出数据,异常了。

既然是这样那我自己验证一把,看是不是这个问题,找出出现异常的调用入参,使用Postman模拟第三方调用,看一看会发现什么。

软件环境: Spring Boot 2.0.3 Tomcat8 JDK8 Nginx代理

场景1:Postman不设置超时时间,发送请求。 结果: Postman响应正常,服务端也没有打印出异常信息

场景1:Postman设置超时时间,发送请求。

设置请求应等待多长时间]超时前的响应。默认0,永不超生,这里我设置了5s

结果:postman没有收到响应,5s后直接异常,Response time out。等了一会服务端处理完后,服务端打印出broken pipe异常信息。

场景3Postman设置超时时间,发送请求后,立马关闭Postman进程。 结果:查看日志,发现也报了 Broken pipe 问题。

上面这个场景模拟下来,服务端业务都完成处理成功,就是在响应的时候出现了异常。那直接看一下异常那块的代码吧。org.apache.catalina.connector.OutputBuffer#realWriteBytes

当执行到coyoteResponse.doWrite(buf); 这里的时候,调用JDK方法去执行sun.nio.ch.FileDispatcherImpl#write0, write0是一个native的方法了,看看发生异常时候的注释内容:

An IOException on a write is almost always due to the remote client aborting the request. Wrap this so that it can be handled better by the error dispatcher.

大致的意思是:写时的IOException几乎总是由于远程客户端中止请求而导致的。将其包装起来,方便程序可以更好地处理它。

这里就不继续深入卷了,感兴趣的伙伴可以在看看网络Socket,或者经典书籍《UNIX网络编程卷1》。

解决方案

这个异常,对于服务端来说,并没有多少影响。到这里大致的处理方案就知道了

•1、延长客户端超时时间•2、合理优化服务端接口代码和返回数据量

最后闲聊

在排查这个问题的时候,找到国外小哥的一篇文章,写的很不错,值得学习。一开篇先介绍了他遇到了Broken Pipe 异常,给出异常出现的软件环境和版本,然后讲了Broken Pipe 是什么,这个异常是怎么发生的,这个异常是不是很严重,以及后面如何修复这个异常,总结以及参考文章。整个文章一气呵成,其中的英文也不难理解,看起来真丝滑。

感兴趣的伙伴可以在这里查看原文: How I fixed java.io.IOException: Broken Pipe in Java (Wildfly 10.1)[1]:https://bishwa.hashnode.dev/fix-broken-pipe-exception-wildfly

下面我大致翻译和加一下自己的解读。

文章的标题:我如何修复Java中 java.io.IOException:Broken Pipe(Wildfly 10.1)

我经常接触的Tomcat,WildFly没用到,大致说明下:WildFly,原名 JBoss AS(JBoss Application Server) 或者 JBoss,是一套应用程序服务器,属于开源的企业级 Java 中间件软件,用于实现基于 SOA 架构的 Web 应用和服务。

开头预览就介绍了他第一次遇到 Broken Pipe 问题时候对应的软件环境和相关版本:

•JavaEE 7 with JAX-RS•Java 8•Wildfly 10.1 as application server•Nginx was used as reverse proxy and load balancer.

后面贴了异常的详细信息。有趣的是在分析完 Broken Pipe 是如何发生的,里面写到

Not every Broken Pipe exception is developer's fault 并非每个 Broken Pipe 异常都是开发人员的错

他分析了导致此异常的可能因素:

最终用户数

由于 Broken Pipe 的主要原因之一是用户的行为(在服务器完成发送响应之前意外关闭了活动的浏览器会话),最终用户数量的增加增加了 Broken Pipe 的机会。

重响应负载(返回数据量大)

来自服务器的大量响应需要大量时间才能传输到客户端,而这个巨大的时间跨度可能就是 Broken Pipe 的情况。

服务器超时(有代理的情况)

如果 Web 服务器在等于服务器设置的超时值的特定时间内无法从服务获得响应,它会关闭与客户端的连接,返回 503: Gateway Timeout,从而导致 Broken Pipe。

内容后面小哥又详细介绍了他如何解决这个问题的一些步骤,最后小哥文章结尾写到:

It's my first blog, yeah it's a bit long, but I was giving insights into how I actually approached the issue and fixed it. Feel free to provide feedback in the comment section & watch this space for more development blogs in future.

这是我的第一个博客,是的,它有点长,但我正在深入了解我如何实际处理这个问题并修复它。请随时在评论部分提供反馈,并关注此空间,了解将来的更多开发博客。

小哥写的真不错,不过看了博客就只有这一篇,订阅了博客内容,在默默关注下。

上面是小哥的介绍:Get along with my journey of working as a Software Engineer

以上就是全部内容了,我是阿飞云,感谢你的阅读,希望对你有所帮助~

References

[1] How I fixed java.io.IOException: Broken Pipe in Java (Wildfly 10.1): https://bishwa.hashnode.dev/fix-broken-pipe-exception-wildfly
[2] Broken pipe错误终极解释: https://www.cnblogs.com/metoy/p/6565486.html
[3] tcp连接时,BROKEN PIPE错误的原因以及解决方法: https://www.cnblogs.com/cthon/p/9139553.html
[4] How I fixed java.io.IOException: Broken Pipe in Java (Wildfly 10.1): https://bishwa.hashnode.dev/fix-broken-pipe-exception-wildfly

往期推荐:

掌握这些常用Linux命令,一起提升工作效率

如何实现一个任务调度系统

整理了后端精选资料,包含JVM、Linux,分布式,高并发,多线程,面试题等

回复1024,即可获取【秘籍】

See you next good day~

排查IOException Broken pipe 错误,偶遇国外小哥相关推荐

  1. java.io.IOException: Broken pipe 线上问题记录

    今天在上线前staging环境验证时遇到这样一个问题java.io.IOException: Broken pipe,操作服务刚起来之后,测试人员第一次进行更配[post]操作,结果操作失败,但是第二 ...

  2. linux 错误信息 输出到管道,linux grep通过管道输出到head出现write error: Broken pipe错误...

    转载请注明地址:http://blog.csdn.net/echoutopia/article/details/51655882 之前做一个分页,利用grep加head加tail实现的: ls /tm ...

  3. Java中 java.io.IOException: Broken pipe

    认识broken pipe pipe是管道的意思,管道里面是数据流,通常是从文件或网络套接字读取的数据. 当该管道从另一端突然关闭时,会发生数据突然中断,即是broken. 对于文件File来说,这可 ...

  4. java.io.IOException: Broken pipe 的异常处理

    断开的管道 java.io.IOException: Broken pipe 解决方法 一.Broken pipe产生原因分析 1.当访问某个服务突然服务器挂了,就会产生Broken pipe; 2. ...

  5. 断开的管道 java.io.IOException: Broken pipe 解决方法

    断开的管道 java.io.IOException: Broken pipe 解决方法 一.Broken pipe产生原因分析 1.当访问某个服务突然服务器挂了,就会产生Broken pipe; 2. ...

  6. tcp连接时,BROKEN PIPE错误的原因以及解决方法

    tcp连接时,BROKEN PIPE错误的原因以及解决方法 参考文章: (1)tcp连接时,BROKEN PIPE错误的原因以及解决方法 (2)https://www.cnblogs.com/ctho ...

  7. IOException: Broken pipe

    线上在excel导入时超过1500行就出现问题 IOException: Broken pipe数据量少的时候没问题,本地不可重现 查看日志 看日志,应该是失去客户端连接.应该是导入操作的http请求 ...

  8. tcp连接时,BROKEN PIPE错误

    TCP协议是端到端的传输控制协议,之所以是"端到端"的协议,是因为"路由"是由IP协议负责的,TCP协议负责为两个通信端点提供可靠性保证,这个可靠性不是指一个端 ...

  9. broken pipe错误

    错误描述 错误详情 提示connection reset by peer 和 broken pipe 错误原因 数据库读取的量过多,返回数据时前端未完成接受数据就关闭了连接

最新文章

  1. 基于单目摄像头的BEV实例预测(ICCV 2021)
  2. 听得我都激动了……喝死奥巴马,你怎么看?
  3. python所有函数用法_Python函数使用方法(高级用法)
  4. DHL出台货运新方案
  5. iOS 设计模式之工厂模式
  6. 查看 linux 网络状态命令,Linux操作系统常用的网络状态查询命令
  7. 【转】POSIX 是什么?让我们听听 Richard Stallman 的诠释 | Linux 中国
  8. 加拿大第二大行TD Bank是如何践行科技战略的?
  9. windows redis 设置密码_Linux下设置redis访问密码
  10. 07到09程序员对自己工资的态度···
  11. 佳能Canon imageCLASS MF210 Series 打印机驱动
  12. 腾讯电脑管家修复代理服务器,腾讯电脑管家修复msvcp140.dll丢失的方法
  13. —— GPS测量原理及应用复习-6 ——
  14. 如何判断如何判断RS232线是直连还是交叉连线
  15. 辽宁丰睿佳业:抖音店铺选品注意事项有哪些?
  16. 在Ubuntu20.04运行VINS-Fusion
  17. java实现mysql拦截_java分页拦截类实现sql自动分页
  18. C# Behavior Tree -- 行为树
  19. 轩逸酷我音乐显示服务器错误,第14代轩逸车机系统体验:基本满足日常需求 随车流量模糊不清...
  20. 把泛型传给泛型方法。

热门文章

  1. 关于vue项目本地localhost可以正常访问项目,ip却无法访问项目的解决办法
  2. 文件数据IO 的细节分析
  3. reportlab 库生成带有表格的PDF报表文件
  4. springboot启动报错Parameter 0 of method a in com.* required a bean of type 'java.lang.String' that could
  5. 毕业设计 基于javaWeb的在线学习系统的设计与实现
  6. 计算机网络性能指标中 “速率” 与 “带宽” 的区别
  7. 自由落体一个球从高为x的空中落下,每次落地后反跳回原高度的一半再落下。求它在第n次落地时总共经过的距离。
  8. 如何查看服务器自动备份文件,服务器重要数据自动备份解决方案
  9. 用Ant批量运行TestNG测试用例,并配合Reportng实现报告美化
  10. 联想X86服务器重启管理控制器(XClarity Controller)或TSM的方法