c++实现文件传输之三：断点续传与多线程传输
继木马编程DIY的上两篇,现在我们开始讨论断点续传与多线程文件传输的实现.其实这两项功能是下载软件所
必不可少的功能了,现在我们把它加到自己的木马中来感受感受.提到多线程下载,首先向网络蚂蚁的作者
洪以容前辈致敬,正是由于网络蚂蚁而使得多线程下载被关注并流行起来.在这本篇文章中我们将简单的实现
支持断点续传和多线程传输的程序.为了更清晰的说明问题,我们将断点续传与多线程传输分别用两个程序来实现
多线程传输实现
实现原理
将源文件按长度为分为N块文件,然后开辟N个线程,每个线程传输一块,最后合并所有线线程文件.比如
一个文件500M我们按长度可以分5个线程传输.第一线程从0-100M,第二线程从100M-200M......最后合并5个线程文件.
实现流程
1.客户端向服务端请求文件信息(名称,长度)
2.客户端跟据文件长度开辟N个线程连接服务端
3.服务端开辟新的线程与客户端通信并传输文件
4.客户端将每线程数据保存到一个文件
5.合并所有线程文件
编码实现
大体说来就是按以上步骤进行,详细的实现和一些要点,我们跟据以上流程在编码中实现
结构定义
在通信过程中需要传递的信息包括文件名称,文件长度,文件偏移,操作指令等信息,为了方便操作我们定义如下结构
代码:
typedef struct
{
char Name[100]; //文件名称
int FileLen; //文件长度
int CMD; //操作指令
int seek; //线程开始位置
SOCKET sockid;
}FILEINFO;
1.请求文件信息
客户端代码如下
代码:
FILEINFO fi;
memset((char*)&fi,0,sizeof(fi));
fi.CMD=1; //得到文件信息
if(send(client,(char*)&fi,sizeof(fi),0)==SOCKET_ERROR)
{
cout<<"Send Get FileInfo Error/n";
}
服务端代码如下
while(true)
{
SOCKET client;
if(client=accept(server,(sockaddr *)&clientaddr,&len))
{
FILEINFO RecvFileInfo;
memset((char*)&RecvFileInfo,0,sizeof(RecvFileInfo));
if(recv(client,(char*)&RecvFileInfo,sizeof(RecvFileInfo),0)==SOCKET_ERROR)
{
cout<<"The Clinet Socket is Closed/n";
break;
}else
{
EnterCriticalSection(&CS); //进入临界区
memcpy((char*)&TempFileInfo,(char*)&RecvFileInfo,sizeof(RecvFileInfo));
switch(TempFileInfo.CMD)
{
case 1:
GetInfoProc (client);
break;
case 2:
TempFileInfo.sockid=client;
CreateThread(NULL,NULL,GetFileProc,NULL,NULL,NULL);
break;
}
LeaveCriticalSection(&CS); //离开临界区
}
}
}
在这里服务端循环接受连接,并跟据TempFileInfo.CMD来判断客户端的请求类型,1为请求文件信息,2为下载文件
因为在下载文件的请求中,需要开辟新的线程,并传递文件偏移和文件大小等信息,所以需要对线程同步.这里使用临界区
其文件信息函数GetInfoProc代码如下
代码:
DWORD GetInfoProc(SOCKET client)
{
CFile file;
if(file.Open(FileName,CFile::modeRead|CFile::typeBinary))
{
int FileLen=file.GetLength();
if(send(client,(char*)&FileLen,sizeof(FileLen),0)==SOCKET_ERROR)
{
cout<< "Send FileLen Error/n";
}else
{
cout<< "The Filelen is "<<FileLen<<"/n/n";
}
}
return 0;
}
这里主要是向客户端传递文件长度,而客户端收到长度后则开辟线程进行连接传输文件
2.客户端跟据长度开辟线程
其实现代码如下
代码:
FILEINFO FI;
int FileLen=0;
if(recv(client,(char*)&FileLen,sizeof(FileLen),0)==SOCKET_ERROR)//接受文件长度
{
cout<<"Recv FileLen Error/n";
}else
{
cout<<"FileLen is "<<FileLen<<"/n";
int COUNT_SIZE=FileLen/5; //每线程传输大小
for(int i=0;i<5;i++) //分5个线程传输
{
EnterCriticalSection(&CS); //进入临界区
memset((char*)&FI,0,sizeof(FI));
FI.CMD=2; //请求下载文件
FI.seek=i*COUNT_SIZE; //线程文件偏移
if(i+1==5) //最后一线程长度为总长度减前4个线程长度
{
FI.FileLen=FileLen-COUNT_SIZE*i;
}else
{
FI.FileLen=COUNT_SIZE;
}
Thread=CreateThread(NULL,NULL,GetFileThread,&i,NULL,NULL);
Sleep(500);
LeaveCriticalSection(&CS); //离开临界区
}
}
WaitForMultipleObjects(5,Thread,true,INFINITE); //等所有线程结束
这里默认开辟5个线程传输,当然可以改为想要的线程数目,仍然用临界区来实现线程的同步问题
3.服务端开辟线程传输数据
在1.请求文件信息中以说明了服务端的结构,这里主要介绍线程函数的实现,其代码如下
代码:
DWORD WINAPI GetFileProc(LPVOID lparam)
{
EnterCriticalSection(&CS); //进入临界区
int FileLen=TempFileInfo.FileLen;
int Seek=TempFileInfo.seek;
SOCKET client=TempFileInfo.sockid;
LeaveCriticalSection(&CS); //离开临界区
CFile file;
if(file.Open(FileName,CFile::modeRead|CFile::typeBinary))
{
file.Seek(Seek,CFile::begin); //指针移至偏移位置
char *date=new char[FileLen];
int nLeft=FileLen;
int idx=0;
file.Read(date,FileLen);
while(nLeft>0)
{
int ret=send(client,&date[idx],nLeft,0);
if(ret==SOCKET_ERROR)
{
cout<<"Send Date Error /n";
break;
}
nLeft-=ret;
idx+=ret;
}
file.Close();
delete[] date;
}else
{
cout<<"open the file error/n";
}
closesocket(client);
return 0;
}
还是比较简单的,主要是获取线程的文件长度和偏移,并移动文件指针到偏移处,最后读取发送数据,而客户端
接受数据并写入文件.
4.客户端将线程数据保存到文件
GetFileThread的实现代码如下
代码:
DWORD WINAPI GetFileThread(LPVOID lparam)
{
char TempName[MAX_PATH];
sprintf(TempName,"TempFile%d",*(DWORD*)lparam); //每线程的文件名为"TempName"+线程数
SOCKET client;
SOCKADDR_IN serveraddr;
int port=5555;
client=socket(AF_INET,SOCK_STREAM,IPPROTO_TCP);
serveraddr.sin_family=AF_INET;
serveraddr.sin_port=htons(port);
serveraddr.sin_addr.S_un.S_addr=inet_addr("127.0.0.1");
if(connect(client,(SOCKADDR*)&serveraddr,sizeof(serveraddr))==INVALID_SOCKET)
{
cout<<"Connect Server Error/n";
}
EnterCriticalSection(&CS); //进入临界区
if(send(client,(char*)&FI,sizeof(FI),0)==SOCKET_ERROR)
{
cout<<"Send GetFile Error/n";
return 0;
}
CFile file;
int FileLen=FI.FileLen; //文件长度
int Seek=FI.seek; //文件偏移
LeaveCriticalSection(&CS); //离开临界区
if(file.Open(TempName,CFile::modeWrite|CFile::typeBinary|CFile::modeCreate))
{
char *date = new char[FileLen];
int nLeft=FileLen;
int idx=0;
while(nLeft>0)
{
int ret=recv(client,&date[idx],nLeft,0);
if(ret==SOCKET_ERROR)
{
cout<<"Recv Date Error";
break;
}
idx+=ret;
nLeft-=ret;
}
file.Write(date,FileLen);
file.Close();
delete[] date;
}else
{
cout<<"Create File Error/n";
}
return 0;
}
在此线程函数中,将每线程传输的数据存为一个文件,文件名为"TempName"+线程数,只所以存成单独的文件是
因为比较直观且容易理解,但如果文件很大的话这个方法并不好,因为合并文件又会花费很多时间,另一个方法
是 创始一个文件,让每个线程写入文件的不同偏移,这样就可以不必单独合并文件了,但要记得打开文件时
加入CFile::shareDenyNone属性.这样整个过程就完成了.最后一步合并线程文件
5.合并线程文件
代码:
int UniteFile() //合并线程文件
{
cout<<"Now is Unite Fileing.../n";
int len;
char *date;
CFile file;
CFile file0;
/*其它文件......*/
if(file.Open(FileName,CFile::modeCreate|CFile::typeBinary|CFile::modeWrite))//创建文件
{
file0.Open("TempFile0",CFile::modeRead|CFile::typeBinary);//合并第一线程文件
len=file0.GetLength();
date=new char[len];
file0.Read(date,len);
file.SeekToEnd();
file.Write(date,len);
file1.Open("TempFile1",CFile::modeRead|CFile::typeBinary);//合并第二线程文件
len=file1.GetLength();
date=new char[len];
file1.Read(date,len);
file.SeekToEnd();
file.Write(date,len);
/*合并其它线程......*/
file0.Close();
file1.Close();
/*.......*/
delete[] date;
return true;
}else
{
return false;
}
}
这个简单,就是打开一个文件读取到缓冲区,写入文件,再打开第二个......现在多线程传输部分就介绍完了
下面讨论断断点续传的实现!
c++实现文件传输之三：断点续传与多线程传输相关推荐
- c++实现文件传输之三：断点续传与多线程传输转
转载自:http://blog.csdn.net/zhengkangchen/article/details/3942252 继木马编程DIY的上两篇,现在我们开始讨论断点续传与多线程文件传输的实现. ...
- golang之文件读写/复制/断点续传
目录 一.常用读取文件的三种方式 (1)利用os和file原生操作读文件 (2)使用bufio读取文件 (3)使用ioutil读取文件 二.常用写文件的三种方式 (1)利用os和file原生操作写文件 ...
- c#.Net MVC服务端下载文件、限制下载速度、大文件下载、对性能的影响、对大文件的支持、对断点续传和多线程下载的支持
一.ASP.NET文件下载各种方式比较:对性能的影响.对大文件的支持.对断点续传和多线程下载的支持 asp.net里提供了多种方式,从服务器端向客户端写文件流,实现客户端下载文件.这种技术在做防下载系 ...
- C# 实现超大文件传输、断点续传等功能
文章目录 一.说明 二.程序集源码 2.1 源码位置 2.2 说明文档 三.安装 四.特点 1.1 文件传输协议兼容性 1.2 与FTP相比 1.3 功能亮点 四.创建服务器 五.创建客户端 六.总结 ...
- 图解：HTTP 范围请求，助力断点续传，多线程下载的核心原理 | 实用HTTP
点击上方蓝字"承香墨影",关注我! 题图:by Charles Loyer 一.序 Hi,大家好,我是承香墨影! HTTP 协议在网络知识中占据了重要的地位,HTTP 协议最基础的 ...
- 图解：HTTP 范围请求，助力断点续传、多线程下载的核心原理
题图:by Charles Loyer 一.序 Hi,大家好,我是承香墨影! HTTP 协议在网络知识中占据了重要的地位,HTTP 协议最基础的就是请求和响应的报文,而报文又是由报文头(Header) ...
- FTP、HTTP断点续传和多线程的协议基础
使用FTP或HTTP协议的下载软件支持断点续传和多线程的协议基础是: FTP用的是REST和SIZE:HTTP用的是Range. 1.FTP实现断点续传的协议基础 REST(有的服务器可能不支持此命令 ...
- RandomAccessFile断点续传和多线程断点续传（大文件分段下载）总结
怎么断点续传? 两点: 1.网络数据(可以设置从文件的哪个位置下载) conn.setRequestProperty("Range", "bytes="+sta ...
- JAVA大文件上传断点续传解决方案
JAVA大文件上传断点续传解决方案 参考文章: (1)JAVA大文件上传断点续传解决方案 (2)https://www.cnblogs.com/songsu/p/11834425.html (3)ht ...
最新文章
- Activit流程部署、删除
- 学习：正则表达式的基本语法
- 浅析网站SEO中图片优化是如何进行的？
- python如何创建不同元素的矩阵_Python numpy学习（2）——矩阵的用法
- js进阶 9-11 select选项框如何动态添加和删除元素
- 文本生成器（bzoj 1030）
- MySQL数据查询SELECT大全
- WebSVN(2.3.1版本)中文注释以及中文路径乱码的解决方法【未完待续】
- phpstorm如何同时打开两个文件夹_iPhone如何同时添加两个不同的面容ID？
- 新一代的桌面虚拟化技术
- 想多赚钱就要多培养自己脖子以上的能力
- php百度地图api的geocoder,百度地图API提供Geocoder类
- 互联网服务：从单一应用到微服务
- 对于ARX的简单介绍
- Java面试笔试考点精讲视频教程
- JavaScript随手笔记之--html拼接语句传递json数据
- ivor horton《c语言入门经典》,《C语言入门经典》Ivor Horton第九章练习题
- rem,em,px,rpx等
- 华为正式加入互联网路由安全规范 MANRS
- Object oriented Design