三管齐下！TB 级文件的上传性能瞬间被优化 100 倍！
作者 | 中华石杉
责编 | 伍杏玲
本文经授权转载石杉的架构笔记（ID：shishan100）
这篇文章我们来看看，世界上最优秀的分布式文件系统HDFS，是如何对超大文件的上传做性能优化的？
首先，我们还是通过一张图来看一下文件上传的大概的原理。
由上图所示，文件上传的原理，其实说出来也简单。
比如有个TB级的大文件，太大了，HDFS客户端会给拆成很多block，一个block就是128MB。
这个HDFS客户端你可以理解为是云盘系统、日志采集系统之类的东西。
比如有人上传一个1TB的大文件到网盘，或者是上传个1TB的大日志文件。
然后，HDFS客户端把一个一个的block上传到第一个DataNode
第一个DataNode会把这个block复制一份，做一个副本发送给第二个DataNode。
第二个DataNode发送一个block副本到第三个DataNode。
所以你会发现，一个block有3个副本，分布在三台机器上。任何一台机器宕机，数据是不会丢失的。
最后，一个TB级大文件就被拆散成了N多个MB级的小文件存放在很多台机器上了，这就是分布式存储。
原始的文件上传方案
今天要讨论的问题，就是HDFS客户端上传TB级大文件时候，是怎么上传呢？
我们先来考虑一下，如果用一个比较原始的方式来上传，应该怎么做？
大概能想到的是下面这个图里的样子。
很多Java的初学者，估计都知道这样来上传文件。
其实无非就是不停的从本地磁盘文件用输入流读取数据，读到一点，就立马通过网络的输出流写到DataNode里去。
上面这种流程图的代码，估计刚毕业的同学都可以立马写出来。因为对文件的输入流最多就是个FileInputStream。而对DataNode的输出流，最多就是个Socket返回的OutputStream。
然后中间找一个小的内存byte[]数组，进行流对拷就行了，从本地文件读一点数据，就给DataNode发一点数据。
但是如果你要这么弄，性能是极其低下的，网络通信讲究的是适当频率，每次batch批量发送。
你得读一大批数据，通过网络通信发一批数据，不能说读一点点数据，就立马来一次网络通信，就发出去这一点点的数据。
所以如果按照上面这种原始的方式，绝对会导致网络通信效率极其低下，大文件上传性能很差，为什么这么说？
相当于你可能刚读出来几百个字节的数据，立马就写网络，卡顿个比如几百毫秒。
然后再读下一批几百个字节的数据，再写网络卡顿个几百毫秒，这个性能很差，在工业级的大规模分布式系统中，是无法容忍的。
如何对大文件上传进行性能优化？
好，看完了原始的文件上传，我们来看看Hadoop中分布式文件系统HDFS，是如何对大文件上传进行性能优化的？
一起来看看下面那张图。
首先你需要自己创建一个针对本地TB级磁盘文件的输入流，然后读到数据之后立马写入HDFS提供的FSDataOutputStream输出流。
这个FSDataOutputStream输出流在干啥？大家觉得他会天真的立马把数据通过网络传输写给DataNode吗？
答案当然是否定的了！这么干的话，不就跟之前的那种方式一样了！
1. Chunk缓冲机制
首先，数据会被写入一个chunk缓冲数组，这个chunk是一个512字节大小的数据片段，你可以这么来理解。
然后这个缓冲数组可以容纳多个chunk大小的数据在里面缓冲。
光是这个缓冲，首先就可以让客户端快速的写入数据了，不至于说几百字节就要进行一次网络传输，想一想，是不是这样？
2. Packet数据包机制
接着，当chunk缓冲数组都写满了之后，就会把这个chunk缓冲数组进行一下chunk切割，切割为一个一个的chunk，一个chunk是一个数据片段。
然后多个chunk会直接一次性写入另外一个内存缓冲数据结构，就是Packet数据包
一个Packet数据包，设计为可以容纳127个chunk，大小大致为64mb。所以说大量的chunk会不断的写入Packet数据包的内存缓冲中。
通过这个Packet数据包机制的设计，又可以在内存中容纳大量的数据，进一步避免了频繁的网络传输影响性能
3. 内存队列异步发送机制
当一个Packet被塞满了chunk之后，就会将这个Packet放入一个内存队列来进行排队。
然后有一个DataStreamer线程会不断的获取队列中的Packet数据包，通过网络传输直接写一个Packet数据包给DataNode。
如果一个Block默认是128mb的话，那么一个Block默认会对应两个Packet数据包，每个Packet数据包是64MB。
也就是说，传送两个Packet数据包给DataNode之后，就会发一个通知说，一个Block的数据都传输完毕。
这样DataNode就知道自己收到一个Block了，里面包含了人家发送过来的两个Packet数据包。
总结
OK，大家看完了上面的那个图以及Hadoop的HDFS采取的大文件上传机制，是不是感觉设计的很巧妙？
说白了，工业级的大规模分布式系统，都不会采取特别简单的代码和模式，那样性能很低下。
这里都有大量的并发优化、网络IO优化、内存优化、磁盘读写优化的架构设计、生产方案在里面。
所以大家观察上面那个图，HDFS客户端可以快速的将TB级大文件的数据读出来，然后快速的交给HDFS的输出流写入内存。
基于内存里的chunk缓冲机制、packet数据包机制、内存队列异步发送机制。绝对不会有任何网络传输的卡顿，导致大文件的上传速度变慢。
反而通过上述几种机制，可以上百倍的提升一个TB级大文件的上传性能。
作者简介：中华石杉，十余年BAT架构经验倾囊相授
公众号：石杉的架构笔记（ID：shishan100）
人工智能学习路线+实战训练
https://edu.csdn.net/topic/ai30?utm_source=csdn_bw
【END】
热 文 推 荐
☞华为 5G 手机 8 月上市；百度回应“业务转向”；微软上线 Python 教程 | 极客头条
☞全栈开发者意味着什么？
☞大数据时代已来，开发者该如何出击？
☞真实揭秘 90 后程序员婚恋现状，有点扎心！
“Hyperledger Fabric 是假区块链！”
AutoML前沿技术与实践经验分享 | 免费报名
☞知识体系、算法题、教程、面经，这是一份超赞的AI资源列表
SaaS前世今生：老树开新花
☞中国第一程序员，微软得不到他就要毁了他！
你点的每个“在看”，我都认真当成了喜欢
三管齐下！TB 级文件的上传性能瞬间被优化 100 倍！相关推荐
- java 写tb级文件_三管齐下！TB 级文件的上传性能瞬间被优化 100 倍！
作者 | 中华石杉 责编 | 伍杏玲 本文经授权转载石杉的架构笔记(ID:shishan100) 这篇文章我们来看看,世界上最优秀的分布式文件系统HDFS,是如何对超大文件的上传做性能优化的? 首先, ...
- h5如何上传文件二进制流_Hadoop如何将TB级大文件的上传性能优化上百倍？
这篇文章,我们来看看,Hadoop的HDFS分布式文件系统的文件上传的性能优化. 首先,我们还是通过一张图来回顾一下文件上传的大概的原理. 由上图所示,文件上传的原理,其实说出来也简单. 比如有个TB ...
- Retrofit 2.0 超能实践（三），轻松实现多文件/图片上传/Json字符串/表单
通过前两篇姿势的入门 Retrofit 2.0 超能实践,完美支持Https传输 Retrofit2.0 完美同步Cookie实现免登录 本文出自:http://blog.csdn.net/sk719 ...
- 切割照片php上传,php下ajax的文件切割上传
var myForm = document.getElementById("myForm"); var upfile = document.getElementById(" ...
- 电子签章平台三管齐下“治”印章，充分发挥集团管控权
子公司太多!散落的"印章"常常让不少集团左右为难: 每家子公司都有自己独立的印章,包括公章.法人章.发票/财务/合同专用章等等,子公司越开越多,整个集团的印章成百上千,一些超大型集 ...
- 布局安全生态，蚂蚁金服三管齐下：用户、监管、产业
7月13日至14日,2016阿里安全峰会在北京举行,国内顶尖的互联网公司齐聚一堂.蚂蚁金服安全产品技术资深总监冯春培表示,虽然各家公司在业务上存在竞争,但在打击黑产.保障安全的议题上是有共识的:我们都 ...
- SpringBoot 项目将文件图片资源上传到本地静态资源文件夹下（指定文件夹下）
1.SpringBoot 项目将文件图片资源上传到本地静态资源文件夹下(指定文件夹下) 最终效果: 前端浏览本地文件,点击上传至本地resources/static/images/imgWall下 2 ...
- Hadoop环境下用java代码实现hdfs远程文件的上传和下载
Hadoop环境下用java代码实现hdfs远程文件的上传和下载 文章目录 Hadoop环境下用java代码实现hdfs远程文件的上传和下载 一.新建maven工程 二.文件的上传 三.文件的下载 四 ...
- java http 下载网页代码_Java下http下载文件客户端和上传文件客户端实例代码
Java下http下载文件客户端和上传文件客户端实例代码 发布于 2021-1-14| 复制链接 摘记: 一.下载客户端代码 ```java package javadownload; import ...
最新文章
- Go 学习笔记（13）— 指针定义、指针特点、空指针、指针数组、指向指针的指针、指针作为函数入参
- NSString取子串
- R绘制边缘直方图、箱图（Marginal Histogram / Boxplot）
- pb分组数据累计_A轮公司数据分析面试经验
- 【Flutter】Dart 数据类型 字符串类型 ( 字符串定义 | 字符串拼接 | 字符串 API 调用 )
- docker安装mycat_分布式数据库中间件 MyCat 搞起来！
- Silverlight学习笔记（三）：创建第一个Silverlight应用程序
- linux ubuntu ssh,Linux（Ubuntu）安装ssh服务
- 数据库设计-基础-1-教务科研申报系统设计UML用例图
- c# 正则获取html标签内容,c# – 使用正则表达式在多个HTML标记之间获取文本
- [css] 为什么会出现浮动？在什么时候需要清除浮动呢？
- 如何通过一个结构体成员变量的地址找到该结构体的首地址？［备忘］
- Spring的入门学习笔记 (注解)
- 游戏UI设计(2.1)--窗口之父CXWnd的封装
- 多语言可视化编辑webControl 2.0版
- opencv_判断两张图片是否相同
- 解决Office2010每次打开都要配置进度的问题
- 基于路径跟随的纯跟踪算法--差速模型
- 文心日签 | 春来有象，开工大吉
- 书友汇德天-创作不停，学习不止（十字交叉线画法）