C/C++大文件/数据网络传输方法总结
转载地址 : https://www.2cto.com/kf/201401/273290.html
在C/C++网络编程中不免会遇到需要传输大数据、大文件的情况,而由于socket本身缓冲区的限制,大概一次只能发送4K左右的数据,所以在传输大数据时客户端就需要进行分包,在目的地重新组包。而实际上已有一些消息/通讯中间件对此进行了封装,提供了直接发送大数据/文件的接口;除此之外,利用共享目录,ftp,ssh等系统命令来实现大文件/数据也不失为一种好的方法。
1.基础的基于socket进行传输
基础的基于socket进行传输关键在于控制,需要自己行分包和组包。
原理很简单那,我们就直接看一下代码吧。
// file_server.c -- socket文件传输服务器端示例代码 // / #include<netinet in.h=""> #include<sys types.h=""> #include<sys socket.h=""> #include<stdio.h> #include<stdlib.h> #include<string.h> #define HELLO_WORLD_SERVER_PORT 6666 #define LENGTH_OF_LISTEN_QUEUE 20 #define BUFFER_SIZE 1024 #define FILE_NAME_MAX_SIZE 512 int main(int argc, char **argv) { // set socket's address information // 设置一个socket地址结构server_addr,代表服务器internet的地址和端口 struct sockaddr_in server_addr; bzero(&server_addr, sizeof(server_addr)); server_addr.sin_family = AF_INET; server_addr.sin_addr.s_addr = htons(INADDR_ANY); server_addr.sin_port = htons(HELLO_WORLD_SERVER_PORT); // create a stream socket // 创建用于internet的流协议(TCP)socket,用server_socket代表服务器向客户端提供服务的接口 int server_socket = socket(PF_INET, SOCK_STREAM, 0); if (server_socket < 0) { printf(Create Socket Failed!
); exit(1); } // 把socket和socket地址结构绑定 if (bind(server_socket, (struct sockaddr*)&server_addr, sizeof(server_addr))) { printf(Server Bind Port: %d Failed!
, HELLO_WORLD_SERVER_PORT); exit(1); } // server_socket用于监听 if (listen(server_socket, LENGTH_OF_LISTEN_QUEUE)) { printf(Server Listen Failed!
); exit(1); } // 服务器端一直运行用以持续为客户端提供服务 while(1) { // 定义客户端的socket地址结构client_addr,当收到来自客户端的请求后,调用accept // 接受此请求,同时将client端的地址和端口等信息写入client_addr中 struct sockaddr_in client_addr; socklen_t length = sizeof(client_addr); // 接受一个从client端到达server端的连接请求,将客户端的信息保存在client_addr中 // 如果没有连接请求,则一直等待直到有连接请求为止,这是accept函数的特性,可以 // 用select()来实现超时检测 // accpet返回一个新的socket,这个socket用来与此次连接到server的client进行通信 // 这里的new_server_socket代表了这个通信通道 int new_server_socket = accept(server_socket, (struct sockaddr*)&client_addr, &length); if (new_server_socket < 0) { printf(Server Accept Failed!
); break; } char buffer[BUFFER_SIZE]; bzero(buffer, sizeof(buffer)); length = recv(new_server_socket, buffer, BUFFER_SIZE, 0); if (length < 0) { printf(Server Recieve Data Failed!
); break; } char file_name[FILE_NAME_MAX_SIZE + 1]; bzero(file_name, sizeof(file_name)); strncpy(file_name, buffer, strlen(buffer) > FILE_NAME_MAX_SIZE ? FILE_NAME_MAX_SIZE : strlen(buffer)); FILE *fp = fopen(file_name, r); if (fp == NULL) { printf(File: %s Not Found!
, file_name); } else { bzero(buffer, BUFFER_SIZE); int file_block_length = 0; while( (file_block_length = fread(buffer, sizeof(char), BUFFER_SIZE, fp)) > 0) { printf(file_block_length = %d
, file_block_length); // 发送buffer中的字符串到new_server_socket,实际上就是发送给客户端 if (send(new_server_socket, buffer, file_block_length, 0) < 0) { printf(Send File: %s Failed!
, file_name); break; } bzero(buffer, sizeof(buffer)); } fclose(fp); printf(File: %s Transfer Finished!
, file_name); } close(new_server_socket); } close(server_socket); return 0; } </string.h></stdlib.h></stdio.h></sys></sys></netinet>
// // file_client.c socket传输文件的client端示例程序 // /// #include<netinet in.h=""> // for sockaddr_in #include<sys types.h=""> // for socket #include<sys socket.h=""> // for socket #include<stdio.h> // for printf #include<stdlib.h> // for exit #include<string.h> // for bzero #define HELLO_WORLD_SERVER_PORT 6666 #define BUFFER_SIZE 1024 #define FILE_NAME_MAX_SIZE 512 int main(int argc, char **argv) { if (argc != 2) { printf(Usage: ./%s ServerIPAddress
, argv[0]); exit(1); } // 设置一个socket地址结构client_addr, 代表客户机的internet地址和端口 struct sockaddr_in client_addr; bzero(&client_addr, sizeof(client_addr)); client_addr.sin_family = AF_INET; // internet协议族 client_addr.sin_addr.s_addr = htons(INADDR_ANY); // INADDR_ANY表示自动获取本机地址 client_addr.sin_port = htons(0); // auto allocated, 让系统自动分配一个空闲端口 // 创建用于internet的流协议(TCP)类型socket,用client_socket代表客户端socket int client_socket = socket(AF_INET, SOCK_STREAM, 0); if (client_socket < 0) { printf(Create Socket Failed!
); exit(1); } // 把客户端的socket和客户端的socket地址结构绑定 if (bind(client_socket, (struct sockaddr*)&client_addr, sizeof(client_addr))) { printf(Client Bind Port Failed!
); exit(1); } // 设置一个socket地址结构server_addr,代表服务器的internet地址和端口 struct sockaddr_in server_addr; bzero(&server_addr, sizeof(server_addr)); server_addr.sin_family = AF_INET; // 服务器的IP地址来自程序的参数 if (inet_aton(argv[1], &server_addr.sin_addr) == 0) { printf(Server IP Address Error!
); exit(1); } server_addr.sin_port = htons(HELLO_WORLD_SERVER_PORT); socklen_t server_addr_length = sizeof(server_addr); // 向服务器发起连接请求,连接成功后client_socket代表客户端和服务器端的一个socket连接 if (connect(client_socket, (struct sockaddr*)&server_addr, server_addr_length) < 0) { printf(Can Not Connect To %s!
, argv[1]); exit(1); } char file_name[FILE_NAME_MAX_SIZE + 1]; bzero(file_name, sizeof(file_name)); printf(Please Input File Name On Server. ); scanf(%s, file_name); char buffer[BUFFER_SIZE]; bzero(buffer, sizeof(buffer)); strncpy(buffer, file_name, strlen(file_name) > BUFFER_SIZE ? BUFFER_SIZE : strlen(file_name)); // 向服务器发送buffer中的数据,此时buffer中存放的是客户端需要接收的文件的名字 send(client_socket, buffer, BUFFER_SIZE, 0); FILE *fp = fopen(file_name, w); if (fp == NULL) { printf(File: %s Can Not Open To Write!
, file_name); exit(1); } // 从服务器端接收数据到buffer中 bzero(buffer, sizeof(buffer)); int length = 0; while(length = recv(client_socket, buffer, BUFFER_SIZE, 0)) { if (length < 0) { printf(Recieve Data From Server %s Failed!
, argv[1]); break; } int write_length = fwrite(buffer, sizeof(char), length, fp); if (write_length < length) { printf(File: %s Write Failed!
, file_name); break; } bzero(buffer, BUFFER_SIZE); } printf(Recieve File: %s From Server[%s] Finished!
, file_name, argv[1]); // 传输完毕,关闭socket fclose(fp); close(client_socket); return 0; } </string.h></stdlib.h></stdio.h></sys></sys></netinet>
2.使用现有的通讯中间件
2.1 ActiveMQ 传送文件接口
为了解决传输大文件的问题,ActiveMQ在jms规范之外引入了jms streams的概念。PTP模式下,连到同一个destination的两端,可以通过broker中转来传输大文件。
发送端使用connection.createOutputStream打开一个输出流,往流里写文件。
OutputStream out =connection.createOutputStream(destination);
接收端则简单的使用connection.createInputStream拿到一个输入流,从中读取文件数据即可。
InputStream in = connection.createInputStream(destination)
详见:https://activemq.apache.org/jms-streams.html
2.2 ZeroMQ 接口
ZeroMQ没有直接提供传送文件的接口。但ZeroMQ中send(void * data, size_t len)接口已经做好了封装,可以send任意大小的数据。代码如下:
zmq::context_t ctx(1);
zmq::socket_t sock(ctx, ZMQ_REQ);sock.connect(tcp://192.168.20.111:20310);sock.send(pData,len);//数据大小没有限制,可以直接发送任意大小的数据char reply[100];
sock.recv (reply,100);sock.disconnect(addr);
接收端如下:
m_context = new zmq::context_t(1);m_socket = new zmq::socket_t (*m_context, ZMQ_REP);m_socket->bind (tcp://*:20310);zmq::message_t request;// Wait for next request from clientm_socket->recv (&request) // request可以接受发送来的任意大小的数据m_socket->send(ok,2);
是不是很简单呢?
3.基于共享文件、ftp、scp等
这就不细说了。要么就是写共享目录,要么就是调用系统命令。
4.总结
1)直接基于socket编程难度较高,所以不推荐。
2)使用现有的库方便,但需要学习。一般推荐。
3)共享文件、ftp、scp等难度低,简单易用,在符合使用场景时是首选。(但一些自命不凡的程序员或许会对你嗤之以鼻,考虑之...)
C/C++大文件/数据网络传输方法总结相关推荐
- C#使用FileStream循环读取大文件数据的方法-示例代码
C#使用FileStream循环读取大文件数据的方法 循环读取大文件数据 using System.IO; class Program {//循环读取大文本文件static void Main(str ...
- 并发编程知识总结,软件开发架构,socket套接字模板,粘包问题,struct解决粘包问题,上传大文件数据,socketserver,关于操作系统的发展史,进程,线程。...
并发编程知识总结 软件开发架构 C/S: client:客户端 server:服务端 优点:占用网络资源少,软件的使用稳定 缺点:服务端更新后,客户端也要更新,需要使用多个软件,需要下载多个客户端 B ...
- Linux系统盘爆满根目录100%,又找不到占空间的大文件 原因与解决方法
最近一位朋友他的Linux(Centos7)根目录一直100%,也就是系统文件磁盘已经爆满了.虽然通过:df -h, du -sh * 等指令配合使用,发现当前系统任然存在大量可以使用的空间(6.5G ...
- 所经历的大文件数据导出(后台执行,自动生成)
所经历的大文件数据导出(后台执行,自动生成) http://www.cnblogs.com/fanfan259/p/4710019.html 阅读目录 一.前言 二.生成excel文件 三.让程序在后 ...
- php 7.0 readfile_php readfile下载大文件失败的解决方法
本文实例讲述了php readfile下载大文件失败的解决方法.分享给大家供大家参考,具体如下: 大文件有200多M,只下载了200K就提示下载完成,且不报错. 原因是PHP内存有限制,需要改为按块下 ...
- 鲁班编程语言 文件读写,网络传输及解释器使用指南(转)
鲁班编程语言 文件读写,网络传输及解释器使用指南(转) http://project.soft114.com/lubankit/index_chinese.html 9. 输入输出对象类型及部件 Me ...
- python大文件排序_Python如何实现大文件排序?Python大文件排序的实现方法
Python如何实现大文件排序?Python大文件排序的实现方法 本文实例讲述了Python实现大文件排序的方法.分享给大家供大家参考.具体实现方法如下: import gzip import os ...
- grep 处理大文件太慢的方法
grep 处理大文件太慢的方法 1.更换编码方式 LC_ALL=C fgrep -m 1 "content" filename 命令解释: 默认文本都采用UTF-8所以比较慢,因此 ...
- 局域网只看到少数电脑_利用局域网高速传输大文件的两种方法
点击蓝字,关注我们 说到传输文件,我们可能很容易想到使用微信或者QQ发送文件,如果没有连接网络的话,可以考虑使用U盘或数据线,当然也可以使用第三方的共享文件,比如说茄子快传.以上方法的缺点自然是很明显 ...
最新文章
- 【号外】来人鸭~ 本公众号纳新啦~
- uvalive 3135 Argus
- linux+dd模式,Linux命令之dd详解
- jzoj3189-解密【字符串hash】
- go语言 函数相关1:实参到形参的传递永远是值拷贝
- 软件测试面试题linux,linux基础面试题
- 【项目管理】IT项目成功
- linux创建网络ntfs接点,Linux系统下挂接ntfs盘时总提示module fuse not found如何解决?...
- 简单配置laravel
- 安卓圆形头像制作两种方法。
- Apache Pulsar 生态项目 KoP 新增 Maintainer:吴展鹏
- power bi报表html,数据可视化系列:Power BI基于Web数据的报表制作(经典级示例)
- html 图片展示 3d,利用CSS3制作简单的3d半透明立方体图片展示
- 中西方育儿教育通选课结课作业
- 云南三校生计算机专业250,云南三校生计算机专业2019年本科录取分数线
- 5G学习笔记之F1AP
- linux命令的全称,Linux命令全称
- 读《无心恰恰用》笔记
- 如何构建基于 Web Excel 组件的指标补录平台
- Nginx集群部署方案
热门文章
- com.netflix.discovery.shared.transport.TransportException: Cannot execute request on any known serve
- 基于RedHat6.5的Greenplum环境配置
- JavaScript阻塞与非阻塞
- Unity_UIWidgets新手入门
- 华为路由器(可网管)连接光猫配置(光猫为路由模式)
- 测试管理知识:如何从业务高手转型为基层管理者
- BZOJ4833: [Lydsy1704月赛]最小公倍佩尔数-数论
- stm32L0系统----开发环境搭建
- Python ctypes 调用API函数模拟键盘鼠标事件
- 零基础转行,你要不要去编程培训班?