WEB Service 下实现大数据量的传输
再序列化,通过WebService传输,客户端接收,再反序列化,确实效果大大的优于直接传送DataSet,不仅网络传输中如此,即使本机,性能改善也非常明显.
下面分别是WebService里面的方法和客户端反序列化取DataSet的方法.
1. 服务器上面取数据,填充数据集,转换为二进制格式.
/// Method for users data query with binaryFormatter
/// </summary>
/// <param name="err"></param>
/// <returns></returns>
public byte[] BinaryUserSelect(ref string err)
{
ClearCommand();
m_commandStringBuilder.Append("SELECT * FROM t_Users ;");
DataSet dsResult = new DataSet();
byte[] bArrayResult = null;
try
{
dsResult = SqlHelper.ExecuteDataset(m_currentConnectionString, CommandType.Text, m_commandStringBuilder.ToString());
// 上面都是取数据的,无需关心.二进制压缩数据集是下面一小段
dsResult.RemotingFormat = SerializationFormat.Binary;
MemoryStream ms = new MemoryStream();
IFormatter bf = new BinaryFormatter();
bf.Serialize(ms, dsResult);
bArrayResult = ms.ToArray();
ms.Close();
//
}
catch (Exception ee)
{
err = ee.ToString();
}
return bArrayResult;
}
2. 通过WebService把byte[]格式的数据发送到客户端,这里就是WebService自己的事情了,我们无需关心
3.客户端接收到byte[]格式的数据,对其进行反序列化,得到数据集,进行客户端操作.
/// Get user data with Binary format
/// </summary>
/// <returns></returns>
public DataSet GetBinaryUserData()
{
string err = "";
byte[] bUserData = svc.ByteArrayUserSelect(ref err);
if (err != "")
{
MessageBox.Show(err);
err = "";
return null;
}
// 反序列化的过程
MemoryStream ms = new MemoryStream(bUserData);
IFormatter bf = new BinaryFormatter();
object obj = bf.Deserialize(ms);
DataSet dsResult = (DataSet)obj;
//
ms.Close();
return dsResult;
}
同样一台机器,手工生成12000条数据,在本地使用WebService分别读取、传输并在客户端显示数据集和byte[]格式的数据,前者平均时间2.3秒,后者平均时间为1.7秒,之间的差别仅在传输过程的格式,还有后者需要的序列化和反序列化的时间.本地WebService传输的差别尚且如此,通过网络传输的时间优化自然会更明显..
.net1.1下面微软提供的DataSetSurrogate开发包下载地址:http://support.microsoft.com/default.aspx?scid=kb;en-us;829740 DataSetSurrogate 在.net 2.0里自带
在.net1.1下的实现方式实例如下
web service 端(文件形式)
[WebMethod(Description="循环获取远程DATASET")]
public void SurrogateReadTable(string TableName)
{
//把DataSet通过Surrogate Class 序列化成 Binary Stream
DataSet ds;
ds=SqlHelper.ExecuteDataset(cnn,CommandType.Text,"select * from "+TableName);
//实例化DataSetSurrogate,传取出的DATASET到构造函数里
sds = new DataSetSurrogate(ds);
//实例化二进制流
BinaryFormatter bf=new BinaryFormatter();
StreamWriter swDat;
//写到本地一个文件里
swDat = new StreamWriter(@"c:\output_surrogate_dataset.dat");
bf.Serialize(swDat.BaseStream, sds);
//这里可以知道序列化后的文件的大小
long size = swDat.BaseStream.Length;
swDat.Close();
}
客户端
private void button1_Click(object sender, System.EventArgs e)
{
label1.Text=DateTime.Now.ToString();
button1.Enabled=false;
//反序列化Binary Stream能通过Surrogate Class转换成 DataSet
//从WEB SERVICE上读取方法
svs.SurrogateRead("t_busdocbase");
BinaryFormatter bf=new BinaryFormatter();
StreamReader swDat;
swDat = new StreamReader(@"c:\output_surrogate_dataset.dat");
object o=bf.Deserialize(swDat.BaseStream);
DataSet ds;
sds = (DataSetSurrogate) o;
ds = sds.ConvertToDataSet();
dataGrid1.DataSource=ds.Tables[0];
swDat.Close();
}
web service 端(Byte[]方式)
[WebMethod(Description="获取业务资料远程DATASET")]
public byte[] SurrogateRead1()
{
DataSet ds;
ds=SqlHelper.ExecuteDataset(cnn,CommandType.Text,"select * from t_busdocbase");
sds = new DataSetSurrogate(ds);
MemoryStream s= new MemoryStream();
BinaryFormatter bf = new BinaryFormatter();
bf.Serialize(s,sds);
byte[] e = s.ToArray();
return e;
}
客户端
private void button3_Click(object sender, System.EventArgs e)
{
label1.Text=DateTime.Now.ToString();
button3.Enabled=false;
//*反序列化Binary Stream能通过Surrogate Class转换成 DataSet*/
//从WEB SERVICE上读取方法
byte [] bb=svs.SurrogateRead1();
MemoryStream br=new MemoryStream(bb);
BinaryFormatter bf=new BinaryFormatter();
object o=bf.Deserialize(br);
sds = (DataSetSurrogate) o;
ds = sds.ConvertToDataSet();
dataGrid1.DataSource=ds.Tables[0];
br.Close();
}
我个人觉得用byte[]方式会安全些,毕竟不用在客户端产生文件,不用担心数据的安全。
在2.0 中对数据集序列化和反序列化的方法进行了一下简单的封装,使其可以得到重用的效果.见下面的类DatFormatter.
通过GetBinaryFormatData方法可以转换数据集为二进制,在服务器端使用,转换数据集格式。发送,客户端接收,得到二进制格式数据,使用RetrieveDataSet方法,反序列化,得到数据集,进行客户端操作。通过这些简单的操作(序列化和反序列化,将数据压缩),可以使数据集等体积庞大的对象在远程传递中的时间大大减少,并且可以减少网络中断等问题对程序的影响。
2using System.IO;
3using System.Data;
4using System.Runtime.Serialization;
5using System.Runtime.Serialization.Formatters.Binary;
6
7namespace Common
8{
9 public class DataFormatter
10 {
11 private DataFormatter() { }
12 /**//// <summary>
13 /// Serialize the Data of dataSet to binary format
14 /// </summary>
15 /// <param name="dsOriginal"></param>
16 /// <returns></returns>
17 static public byte[] GetBinaryFormatData(DataSet dsOriginal)
18 {
19 byte[] binaryDataResult = null;
20 MemoryStream memStream = new MemoryStream();
21 IFormatter brFormatter = new BinaryFormatter();
22 dsOriginal.RemotingFormat = SerializationFormat.Binary;
23
24 brFormatter.Serialize(memStream, dsOriginal);
25 binaryDataResult = memStream.ToArray();
26 memStream.Close();
27 memStream.Dispose();
28 return binaryDataResult;
29 }
30 /**//// <summary>
31 /// Retrieve dataSet from data of binary format
32 /// </summary>
33 /// <param name="binaryData"></param>
34 /// <returns></returns>
35 static public DataSet RetrieveDataSet(byte[] binaryData)
36 {
37 DataSet dataSetResult = null;
38 MemoryStream memStream = new MemoryStream(binaryData);
39 IFormatter brFormatter = new BinaryFormatter();
40
41 object obj = brFormatter.Deserialize(memStream);
42 dataSetResult = (DataSet)obj;
43 return dataSetResult;
44 }
45 }
46}
47
转载于:https://www.cnblogs.com/ghd258/archive/2005/12/06/291653.html
WEB Service 下实现大数据量的传输相关推荐
- WEB Service 下实现大数据量的传输
Vs2005里面的,查询12000条记录,设置RemotingFormat = SerializationFormat.Binary; 再序列化,通过WebService传输,客户端接收,再反序列化, ...
- 从WEB SERVICE 上返回大数据量的DATASET
前段时间在做一个项目的时候,遇到了要通过WEB SERVICE从服务器上返回数据量比较大的DATASET,当然,除了显示在页面上以外,有可能还要用这些数据在客户端进行其它操作.查遍了网站的文章,问了一 ...
- 怎样提高WebService性能大数据量网络传输处理(转)
1. 直接返回DataSet对象 特点:通常组件化的处理机制,不加任何修饰及 处理: 优点:代码精减.易于处理,小数据量处理较快: 缺点:大数据量的传递处理慢,消耗网络资源: 建议:当应用系统在内网. ...
- C# 之 提高WebService性能大数据量网络传输处理
1.直接返回DataSet对象 特点:通常组件化的处理机制,不加任何修饰及处理: 优点:代码精减.易于处理,小数据量处理较快: 缺点:大数据量的传递处理慢,消耗网络资源: 建议:当应用系统在内网.专网 ...
- Talend 大数据量导致传输报错
我们经常回碰到传输数据量大时,talend会报错,如果我们确定job没问题时,或者小数据量没问题时,那估计就是内存溢出导致的.我们只需修改.bat 或者 .sh文件,将-Xmx 修改大点即可,但JDK ...
- gRPC大数据量消息传递方法
1.摘要 本文探讨了gRPC中大数据量消息的传输限制及相应的两个解决方法:修改限制值大小和流式数据传输,并给出了gRPC C++版本下采用流式数据传输的示例代码,在该示例中同时说明了如何在Visual ...
- 金融行业云迁移实践 HyperMotion助力江苏农信银行实施金融专有云创新项目,实现跨地域,多网点,大数据量迁移上云
项目概述 当前,互联网技术将经济社会带入了"平台经济"的时代.<银行业信息科技"十三五"发展规划监管指导意见>要求,"十三五"期 ...
- kettle分批处理大表数据_采用Kettle分页处理大数据量抽取任务
需求: 将Oracle数据库中某张表历史数据导入MySQL的一张表里面. 源表(Oracle):table1 目标表(MySQL):table2 数据量:20,000,000 思路: 由于服务器内存资 ...
- 大数据量下高并发同步的讲解(不看,保证你后悔!)
偶然的机会在网上看到了这篇blog,觉得作者写得挺不错的(虽然自己并没有怎么看懂...),所以就转来跟大家分享分享吧~~~ 对于我们开发的网站,如果网站的访问量非常大的话,那么我们就需要考虑相关的并发 ...
最新文章
- Stackoverflow 高赞答案,为什么牛逼的程序员都不用 “ ! = null ' 做判空?
- MongoDB的下载与安装
- Chapter34 创建主窗口/实现应用程序功能
- 【MIPS汇编】ADDI,ADDIU,ADD,ADDU的区别、有符号无符号的谬误
- Python数据分析之画图力气pyecharts 制作3D图像!
- Win10 环境变量配置
- JAVA命令符找不到符号_java: 找不到符号 符号: 方法 setLatestEventInfoentInfo
- php 解决Chrome Cookie 的 SameSite 属性导致无法写入cookie问题
- 模拟人生4修改服务器,模拟人生4 全秘籍、作弊码一览 模拟人生4修改方法汇总...
- 支付宝推出信用租房 醉翁之意不在酒?
- uniapp图片添加水印
- 15微型计算机系统不包括,全国2002年10月自学考试计算机应用基础真题
- 零基础,该选3D手绘低模还是次世代高模呢?
- pr制作节奏感抖动(变换)
- ClassLayout ,JOL Maven地址及锁64位状态图
- 微软2013校园招聘笔试题
- 我的面试经历--缘起
- TS装饰器、混入Mixins、TS模块、命名空间
- 怎样知道别人的WiFi密码?
- 移动端的bug和坑(主要针对样式方面)
热门文章
- DDR3 LAYOUT RULES
- 802.11ac标准简介
- 10.18 nslookup:域名查询工具
- pod 的亲和性,反亲和性 实验
- 3d17304计算机开机号,福彩3D17304期福彩3D开机号147对应码653牛彩网关注数037金码0...
- html语言table,HTML table 标签
- linux磁盘混乱,Linux磁盘设备文件混乱源于Linux内核自身
- Java入力项目无法设定到form_html中关于form与表单提交操作的资料集合
- 聊聊“数据安全与数据治理”那些事
- 试题 历届试题 幸运数(二分)