HTTP 文件上传的基本原理
本文转载自:http://blog.sina.com.cn/s/blog_8f32dc250100wva8.html
感谢原作者的分享。
笔者相关博文推荐:
(1)通过 http 协议上传文件
http://blog.csdn.net/aflyeaglenku/article/details/51646077
(2)form表单上传文件,C++开发后台服务,协议解析实操
http://blog.csdn.net/aflyeaglenku/article/details/51668673
1、HTTP 文件上传的基本原理:
使用html 的 标签,提交form 的几个属性必须为: method=post encType=multipart/form-data;
method 属性必须设为post的原因是:值不是放在URL之后传递到服务器的;
encType属性:这个属性管理的是表单的MIME编码
几个属性详解:
application/x-www-form-urlencoded 在发送前编码所有字符(默认)
multipart/form-data 不对字符编码,在使用包含文件上传控件的表单时,必须使用该值;对于“multipart/form-data”类型的form表单,浏览器上传的实体内 容中的每个表单字段元素的数据之间用字段分隔界线进行分割,两个分隔界线间的内容称为一个分区,每个分区中的内容可以被看作两部分,一部分是对表单字段元 素进行描述的描述头,另外一部是表单字段元素的主体内容
text/plain 空格转换为“+”,不对特殊字符编码
服务器端:
WEB服务器端程序接收到“multipart/form-data”类型的HTTP请求消息后,其核心和基本的编程工作就是读取请求消息中的实体内容,然后解析出每个分区的数据,接着再从每个分区中解析出描述头和主体内容部分。
要在jsp里获得上传的文件,就是通过request.getInputStream()来得到上传的整个post实体的流,用 request.getHeader(“Content-Type”)来取得实体内容的分界字符串,然后根据http协议,分析取得的上传的实体流,把文 件部分给筛出来,然后在服务器端保存到磁盘文件中,另外因为上传文件时,form的属性enctype=”multipart/form-data”,所 以其他表单参数在上传文件时也无法得到,除了筛出文件进行保存,还应该把其他的参数一起取出保存,以便在jsp程序中调用。
具体方法如下:
1、 根据request获得文件输入流;
2、 依次读取行,此时进行两部分内容的处理,
a:获取文件名
以 filename=”xxxxx”来标识一个文件头,
b:获取其他表单值(因为其流是按照multipart/form-data方式来编码的,所以在服务器端,不能直接用request.getParameter()来获得);
以name=”xxxx”来标识一个表单头
都以流头的字符标识为值的结束;
实体内容内部的字段分隔界线是在content-type头中指定的字段分隔界线前面增加了两个减号(-)字符而形成的(由浏览器随机生成,由浏览器 保证不会与用户上传的文件内容重复)
当找到一个分区的开始位置后,程序还需要分辨出分区中的描述头和主体内容,并对这两部分内容分开存储。如何分辨出一个分区的描述头和主体部分呢?每 个分区中的描述头和主体内容之间有一空行,再加上描述头后面的换行,这就说明描述头和主体部分之间是使用“\n”、“\r”、“\n”、“\r”这四个连 续的字节内容进行分隔。因此,程序需要把“\n”、“\r”、“\n”、“\r”这四个连续的字节内容作为描述头和主体部分之间的分隔界线,并在字节数组 缓冲区buffer中寻找这个特殊的分隔界线来识别描述头和主体部分。
3、 根据读到的文件信息(文件名,文件大小等),判断是否合法(文件类型、文件大小判断)。如果合适则返回,如果不合适则创建同名文件并将其删除;
演示Form 显示提交的流的格式: UI
2、当前的主流文件上传组件性能对比
1、smartUpload 2、FileUpload 3、Cos
实例演示性能对比:
jspSmartUpload
fileUpLoad
cos
20M 、75M 、300M
所以选择Cos作为内部读取解析文件流的组件;
使用组件而不是自己来解析文件流的原因:
1、 读取文件大小的限制,如同smartUpload 组件一样,上传的文件大小会受到JVM内存容量的限制,因为读取的文件流都是存储在内存之中的,而fileUpLoad和cos采用的是当文件读取到了一定的大小就先写到硬盘上的临时目录中;
2、 读取效率的限制 ,组件可以根据文件的大小设定一定的缓存,来提升读取的效率,分配好内存的缓存大小,及硬盘目录缓存大小;
(文件缓存循环机制作的简要介绍,缓冲区如何正好读取到分区界限)
此类组件的使用及封装方式:
MultipartRequest mu = new MultipartRequest(HttpServletRequest request,Directory,MaxSize,”gbk”);
我们只需要传递一个申请的request流,目录名,它会自动完成相应的解析文件流的过程,然后直接在对应设置的目录中生成对应的同名文件;
代理模式:
HttpServerRequestProxy:代理表单请求
InputStreamRequestProxy:代理输入流
整个的代理流程如下:
首先类HttpServerRequestProxy 继承于HttpServletRequestWrapper,并覆写它父类的getInputStream() 方法,在这个方法中我们设置它返回InputStreamRequestProxy流对象(当然这个类必须要与ServletInputstream 兼容,所以它必定继承于ServletInputstream),然后我们覆写这个流的read()方法,并在这个方法内部我们对文件上传的进度,速度进 行控制,而不是由组件提供的特定的进度监视器来获取准确的精度;
运行流程如下:
组件以HttpServerRequestProxy对象为参数进行初始化,在其内部再调用参数的getInputStream()方法获取整个传入流,再使用流的read()方法读取实际内容,这样整个处理流的过程,都是从代理中通过的;
3、服务器端获取文件传输速度的计算方式
.
1. 根据前后读取buffer的时间来测算,但是由于读取request 返回的流太过频繁,导致以毫秒计算,根本没有办法来计算实时速度;(不可行)
2. 采用一个控制量,固定读取一定数量的buffer后,再根据服务器读取这段的长度所使用的时间来设定速度值;(需要设定BufferNUM的值,实时性较好,资源消耗最少);
3. 采用定时器,每过N秒访问一次文件读取的进度,设置相关的信息,但返回的上传速度可能为 0,或者是无穷;
4、判断上传文件(单个)大小是否符合服务器设置
(如何快速判断,而不是等二进制流读取完再返回错误信息。)
javaScript 客户端脚本判断,但是针对不同的浏览器,不同的权限设置,不一定能成功;(且于服务器端实际读取的文件大小精度有差异,难以靠以上传的流的大小来保证文件是否已经上传完毕)
function ShowFileSize()
{var fso = new ActiveXObject("Scripting.FileSystemObject");var f, s, file;if ("object" != typeof(fso))return;file = FormName.fileName.value;f = fso.GetFile(file);alert(f.size);
}
服务器即时判断:服务器读取流,直到读取的流的数量大于所设定大的限制,则返回错误信息。(占太多的时间,且浪费服务器资源)
服务器端判断:在发送POST请求时,信息头里面都包含 Content-Length 属性,其代表着整个请求的数据长度。我们可以通过简单的判断这个Header数据,发现超过了我们允许的长度则直接断开连接,这样就不会对服务器造成资源浪费。
演示:simpleFileUpload index.jsp
5、如何判断批量上传的每一个文件的大小
(使用方法二)
1. 在客户端判断文件大小,只提交服务器一个文件流,但是文件大小的精确程度会有一定程度的不同,导致一种假死现象;还会有客户端js代码的权限问题。
2. 在服务器端判断文件大小,但是服务器在真实读取文件流之前 ,使用上面的方法二,只能得到整个流的大小,不能得到,单个文件的大小;这样只能实现整个上传进度的统计。而不可能实现多个文件分开计算其精度的方法;
演示:simpleFileUpload pLOneStream.jsp
3.每个文件提交一个文件流,服务器对每个流处理时返回文件大小及文件进度。方法是,每个 标签都置于一个独立的form表单中,然后一次提交;
6、服务器如何在真正文件上传(读取流)之前获得文件名?
按照正常的Http上传文件的方式是不能实现的,只有在客户端向服务器提交表单之前先向服务器提交一个Ajax请求,然后服务器调用Ajax请求传递过来 的参数(文件名)来判断是否符合服务器提交要求,如果符合则在客户端的回调函数中提交本文件所属的form表单;如果不符合则返回出错信息;
7、如果文件不合法,服务器、客户端如何而实现
(此时服务器已经必定在读http传递过来的文件流,除非判断文件名是在客户端判断,或者是使用Ajax在服务器端判断的方法)
1、 客户端使用Ajax 接受服务器返回出错信息,并在服务器内部读取流文件时,如果发现文件不合法则抛出特定的异常,并在服务器内部自行捕获处理;
2、 流覆盖;
流覆盖演示:streamCover
原理:将两个请求同时提交到一个地方,导致后面的流截断前面正在上传的文件流,从而达到删除正在上传的文件的效果;(删除正在上传的文件)
8、客户端从服务器读取文件上传进度信息
(Ajax)
几个重要的步骤:
1、 构建Ajax 对象;(需要针对不同的浏览器进行构建),参见代码;cosex—UpLoadFile.html—getAjax;
2、 设置回调函数 onreadystatechange;
3、 设置携带特定参数信息的URL;
4、 发送请求;
5、 等待回调;
需要注意的问题:
1、 IE缓存问题;
解决方法:
清除由于IE缓存造成的Ajax不能多次发出请求:
服务器端:
response.setHeader(“Cache-Control”,”no-cache”);
客户端
在Ajax发出的请求URL后添加一个随机数(Math.random()),这样对于IE来说每次请求的页面都不是同一个页面就不会造成直接调用缓存页面的问题;
2、 同步还是异步请求的问题;
Ajax的优势就是可以异步发送请求到服务器,而不需要服务器实时的去相应,所以设为异步;
服务器端相应Ajax请求的几个问题:
1、 Ajax异步请求与传统请求在服务器端的判断方法;
request.getHeader(“x-requested-with”);
b.在URL后添加一个与服务器端约定好的参数;
(在服务器端都必须显示的去判断)
2、 字符编码问题;
Ajax请求默认的参数默认均为 ”ISO8859-1”,在服务器端必须要进行解码;
与进度条的集成:
根据Ajax从服务器获取的文件信息(文件大小,上传速度,上传百分比等信息),信息每更新一次就设定进度条的值;动态隐藏和显示显示进度条的div;
9、UI上传组件应该具备以下基本功能
- 能让用户提供一个上传路径
- 能够限制上载文件的大小(防止上传文件过大)
- 能够支持多个文件同时上传及限制并行上传文件的个数(多文件并行上传)
- 可以在服务器端进行异常错误捕获,并进行适当的处理
- 上传组件的稳定性(上传速度能够保持稳定)
- 可以设定屏蔽(或指定)固定类型的文件(如以 .exe结尾的文件等)
- 能够向用户提供一个友好的交互界面,实时显示该文件上传的进度、当前用户的网络状态、上传此文件已花费时间、传输速率,剩余时间等信息
- 支持对已上传或正在上传文件的删除
- 用户使用及操作及可扩展 ,并能够灵活的集成到其它项目中
Ajax的同步问题 ;(两个不同的页面同时访问一个服务端URL,导致两者得到的值竟然是后者的值)
一个页面的,多表单提交的问题解决方案:
1. 使用Ajax 实现。
2. 使用 form 的target 属性提交到一个本页面的iframe 的name 上,那样页面就不会跳转。
Javascript问题:
引号中传字符串值; 可以单双引号嵌套使用
Setinterval()函数传值,采用
function(){ realFunction(args)} 的匿名传值方法;
3. 取消计时器clearInterval(timerID);
一个页面多次提交导致流被截断;
如果是提交到一个隐藏的frame中的话,那么会导致流被截断,必须提交到不同的隐藏frame中,才可以异步提交到服务器。
HTTP 文件上传的基本原理相关推荐
- 文件上传的基本原理(一)
一.概述 Struts/Spring MVC 文件上传实现都是基于Commons-fileupload,但背后的原理,大多数估计没有关注,最近阅读Commons-fileupload源码也发现,只有 ...
- 19. web 应用常用功能 -文件上传下载
文章目录 19.1 基本介绍 19.2 文件上传 19.2.1 文件上传的基本原理 19.2.2 文件上传应用实例 19.2.3 文件上传注意事项和细节 19.3 文件下载 19.3.1 文件下载的原 ...
- 不安全的文件上传基本原理(Unsafe file upload)
不安全的文件上传基本原理(File upload vulnerabilities) 文章目录 不安全的文件上传基本原理(File upload vulnerabilities) 什么是文件上传漏洞? ...
- jquery文件上传控件 Uploadify
基于jquery的文件上传控件,支持ajax无刷新上传,多个文件同时上传,上传进行进度显示,删除已上传文件. 要求使用jquery1.4或以上版本,flash player 9.0.24以上. 有两个 ...
- Asp.net2.0下的大文件上传服务器控件
最近本来准备在Alisoft上做点东西玩,做的过程中,涉及到了文件上传.刚开始,准备在网上找几个用,发现国外好用的要钱,而国内的,开源的又不好用,所以决定自己也写一个,顺便以后赚点外快.我看了一下,这 ...
- 使用jquery文件上传控件Uploadify来异步上传图片
1.项目中需要图片的异步上传,度娘之后发现有一个插件可以完成这个需求,即是:Uploadify 下面是这个异步上传的插件的一个简单介绍: 基于jquery的文件上传控件,支持ajax无刷新上传,多个文 ...
- vue上传文件php,php文件上传 – 前端开发,JQUERY特效,全栈开发,vue开发
文件上传一般有下面2种方式: 有两种: 1.标准input表单方式,典型的用$_FILES进行接收: 2.以Base64的方式进行传送,一般是AJAX异步上传. 第一种 标准的input表单方式,适用 ...
- 文件上传漏洞总结(含原因+防御措施)+白名单+黑名单+内容、头+解析漏洞/修补方案
文件上传漏洞简单总结+白名单+黑名单+内容.头+解析漏洞/修补方案 问题 什么是文件上传漏洞? 危害? 防御措施? 文件上传(验证/绕过)措施? 前端 js类绕过? 后端 黑名单绕过 特殊解析后缀 . ...
- 【网络安全】文件上传漏洞 详解
文件上传漏洞 1.什么是文件上传 将客户端数据以文件形式封装,通过网络协议发送到服务器端.在服务器端解析数据,最终在服务端硬盘上作为真实的文件保存. 通常一个文件以HTTP协议进行上传时,将POST请 ...
最新文章
- android:imeOptions属性
- SSH免密码登录设置
- java不可编辑的文本框_如何使编辑文本不可编辑,但在JAVA中可点击
- python:文件路径多级获取
- Spring Boot中防表单重复提交以及拦截器登录检测
- 马踏棋盘算法(骑士周游问题)
- Error: EBUSY: resource busy or locked, lstat ‘D:\DumpStack.log.---基于Vue的uniapp手机端_前端UI_uview工作笔记004
- 2012年10月份考试后感
- HTTP与HTTPS简介
- (3)机器学习_逻辑模型_决策树
- Kubernetes 小白学习笔记(32)--kubernetes云原生应用开发-sidecar注入和istio服务治理演示
- spring-mvc+freemarker整合(sonne_game网站开发03)
- 使用nslookup查看邮箱信息
- 图片溢出div,超出div解决办法
- 计算机应用基础——计算机软件(三)
- 十强队伍来了!网易云信 Innovation 2022 开发者大赛决赛名单公布
- warning ..\package.json: No license field
- 小白学习Spark04-Spark调优与调试
- 研究目标系统的可行性
- Ableton Live 10 Sound Packs 97GB 工程音色组件拓展素材包