Vs2005里面的,查询12000条记录,设置RemotingFormat = SerializationFormat.Binary;
再序列化,通过WebService传输,客户端接收,再反序列化,确实效果大大的优于直接传送DataSet,不仅网络传输中如此,即使本机,性能改善也非常明显.

下面分别是WebService里面的方法和客户端反序列化取DataSet的方法.
1. 服务器上面取数据,填充数据集,转换为二进制格式.

 /** <summary>
    /// Method for users data query with binaryFormatter
    /// </summary>
    /// <param name="err"></param>
    /// <returns></returns>
    public byte[] BinaryUserSelect(ref string err)
    {
        ClearCommand();
        m_commandStringBuilder.Append("SELECT * FROM t_Users ;");
        DataSet dsResult = new DataSet();
        byte[] bArrayResult = null;
        try
        {                              
            dsResult = SqlHelper.ExecuteDataset(m_currentConnectionString, CommandType.Text, m_commandStringBuilder.ToString());
            // 上面都是取数据的,无需关心.二进制压缩数据集是下面一小段
            dsResult.RemotingFormat = SerializationFormat.Binary;
            MemoryStream ms = new MemoryStream();
            IFormatter bf = new BinaryFormatter();
            bf.Serialize(ms, dsResult);
            bArrayResult = ms.ToArray();
            ms.Close();
            // 
        }
        catch (Exception ee)
        {
            err = ee.ToString();
        }
        return bArrayResult;        
    }

2. 通过WebService把byte[]格式的数据发送到客户端,这里就是WebService自己的事情了,我们无需关心

3.客户端接收到byte[]格式的数据,对其进行反序列化,得到数据集,进行客户端操作.

 /** <summary>
        /// Get user data with Binary format
        /// </summary>
        /// <returns></returns>
        public DataSet GetBinaryUserData()
        {
            string err = "";
            byte[] bUserData = svc.ByteArrayUserSelect(ref err);
            if (err != "")
            {
                MessageBox.Show(err);
                err = "";
                return null;
            }
            // 反序列化的过程
            MemoryStream ms = new MemoryStream(bUserData);
            IFormatter bf = new BinaryFormatter();
            object obj = bf.Deserialize(ms);
            DataSet dsResult = (DataSet)obj;
            //
            ms.Close();
            return dsResult;
        }

同 样一台机器,手工生成12000条数据,在本地使用WebService分别读取、传输并在客户端显示数据集和byte[]格式的数据,前者平均时间 2.3秒,后者平均时间为1.7秒,之间的差别仅在传输过程的格式,还有后者需要的序列化和反序列化的时间.本地WebService传输的差别尚且如 此,通过网络传输的时间优化自然会更明显..

.net1.1下面微软提供的DataSetSurrogate开发包下载地址:http://support.microsoft.com/default.aspx?scid=kb;en-us;829740   DataSetSurrogate 在.net 2.0里自带
在.net1.1下的实现方式实例如下

在这里,有两种方式:可把序列化后的数据用文件形式保存在客户端硬盘;也可用Byte[]方式传回客户端,以下是代码。
web service 端(文件形式) 

  [WebMethod(Description="循环获取远程DATASET")]
  public void SurrogateReadTable(string TableName)
  {
   //把DataSet通过Surrogate Class 序列化成 Binary Stream
  
   DataSet ds;
   ds=SqlHelper.ExecuteDataset(cnn,CommandType.Text,"select * from "+TableName);
   //实例化DataSetSurrogate,传取出的DATASET到构造函数里
   sds = new DataSetSurrogate(ds); 
   //实例化二进制流
   BinaryFormatter bf=new BinaryFormatter();
   StreamWriter swDat; 
   //写到本地一个文件里
   swDat = new StreamWriter(@"c:\output_surrogate_dataset.dat");
   bf.Serialize(swDat.BaseStream, sds);
   //这里可以知道序列化后的文件的大小
   long size = swDat.BaseStream.Length;
   swDat.Close();
  
  }

客户端 

private void button1_Click(object sender, System.EventArgs e)
  {
   label1.Text=DateTime.Now.ToString();

   button1.Enabled=false;
   //反序列化Binary Stream能通过Surrogate Class转换成 DataSet

   //从WEB SERVICE上读取方法
   svs.SurrogateRead("t_busdocbase");
   BinaryFormatter bf=new BinaryFormatter();
   StreamReader swDat; 
   swDat = new StreamReader(@"c:\output_surrogate_dataset.dat");
   object o=bf.Deserialize(swDat.BaseStream);
  DataSet ds;
   sds = (DataSetSurrogate) o;
   ds = sds.ConvertToDataSet();
   dataGrid1.DataSource=ds.Tables[0];
   swDat.Close();
   }



web service 端(Byte[]方式)

[WebMethod(Description="获取业务资料远程DATASET")]
      public byte[] SurrogateRead1()
      {
       DataSet ds;
       ds=SqlHelper.ExecuteDataset(cnn,CommandType.Text,"select * from t_busdocbase");
       sds = new DataSetSurrogate(ds); 
       MemoryStream s= new MemoryStream();
       BinaryFormatter bf = new BinaryFormatter();
       bf.Serialize(s,sds);
     
       byte[] e = s.ToArray();
       return e; 
  
      }


客户端   

private void button3_Click(object sender, System.EventArgs e)
   {
    label1.Text=DateTime.Now.ToString();

    button3.Enabled=false;
    //*反序列化Binary Stream能通过Surrogate Class转换成 DataSet*/

    //从WEB SERVICE上读取方法


     byte [] bb=svs.SurrogateRead1();
     MemoryStream br=new MemoryStream(bb);
     BinaryFormatter bf=new BinaryFormatter();
     object o=bf.Deserialize(br);
     sds = (DataSetSurrogate) o;
     ds = sds.ConvertToDataSet(); 
     dataGrid1.DataSource=ds.Tables[0];

     br.Close();

    }

我个人觉得用byte[]方式会安全些,毕竟不用在客户端产生文件,不用担心数据的安全。

在2.0 中对数据集序列化和反序列化的方法进行了一下简单的封装,使其可以得到重用的效果.见下面的类DatFormatter.

通 过GetBinaryFormatData方法可以转换数据集为二进制,在服务器端使用,转换数据集格式。发送,客户端接收,得到二进制格式数据,使用 RetrieveDataSet方法,反序列化,得到数据集,进行客户端操作。通过这些简单的操作(序列化和反序列化,将数据压缩),可以使数据集等体积 庞大的对象在远程传递中的时间大大减少,并且可以减少网络中断等问题对程序的影响。

1using System;
 2using System.IO;
 3using System.Data;
 4using System.Runtime.Serialization;
 5using System.Runtime.Serialization.Formatters.Binary;
 6
 7namespace Common
 8{
 9    public class DataFormatter
10    {
11        private DataFormatter() { }
12        /** <summary>
13        /// Serialize the Data of dataSet to binary format
14        /// </summary>
15        /// <param name="dsOriginal"></param>
16        /// <returns></returns>
17        static public byte[] GetBinaryFormatData(DataSet dsOriginal)
18        {
19            byte[] binaryDataResult = null;
20            MemoryStream memStream = new MemoryStream();
21            IFormatter brFormatter = new BinaryFormatter();
22            dsOriginal.RemotingFormat = SerializationFormat.Binary;
23
24            brFormatter.Serialize(memStream, dsOriginal);
25            binaryDataResult = memStream.ToArray();
26            memStream.Close();
27            memStream.Dispose();
28            return binaryDataResult;
29        }
30        /** <summary>
31        /// Retrieve dataSet from data of binary format
32        /// </summary>
33        /// <param name="binaryData"></param>
34        /// <returns></returns>
35        static public DataSet RetrieveDataSet(byte[] binaryData)
36        
37            DataSet dataSetResult = null;
38            MemoryStream memStream = new MemoryStream(binaryData);
39            IFormatter brFormatter = new BinaryFormatter();
40
41            object obj = brFormatter.Deserialize(memStream);
42            dataSetResult = (DataSet)obj;
43            return dataSetResult;
44        }
45    }
46}
47

WEB Service 下实现大数据量的传输相关推荐

  1. WEB Service 下实现大数据量的传输

    Vs2005里面的,查询12000条记录,设置RemotingFormat = SerializationFormat.Binary; 再序列化,通过WebService传输,客户端接收,再反序列化, ...

  2. 从WEB SERVICE 上返回大数据量的DATASET

    前段时间在做一个项目的时候,遇到了要通过WEB SERVICE从服务器上返回数据量比较大的DATASET,当然,除了显示在页面上以外,有可能还要用这些数据在客户端进行其它操作.查遍了网站的文章,问了一 ...

  3. 怎样提高WebService性能大数据量网络传输处理(转)

    1. 直接返回DataSet对象 特点:通常组件化的处理机制,不加任何修饰及 处理: 优点:代码精减.易于处理,小数据量处理较快: 缺点:大数据量的传递处理慢,消耗网络资源: 建议:当应用系统在内网. ...

  4. C# 之 提高WebService性能大数据量网络传输处理

    1.直接返回DataSet对象 特点:通常组件化的处理机制,不加任何修饰及处理: 优点:代码精减.易于处理,小数据量处理较快: 缺点:大数据量的传递处理慢,消耗网络资源: 建议:当应用系统在内网.专网 ...

  5. Talend 大数据量导致传输报错

    我们经常回碰到传输数据量大时,talend会报错,如果我们确定job没问题时,或者小数据量没问题时,那估计就是内存溢出导致的.我们只需修改.bat 或者 .sh文件,将-Xmx 修改大点即可,但JDK ...

  6. gRPC大数据量消息传递方法

    1.摘要 本文探讨了gRPC中大数据量消息的传输限制及相应的两个解决方法:修改限制值大小和流式数据传输,并给出了gRPC C++版本下采用流式数据传输的示例代码,在该示例中同时说明了如何在Visual ...

  7. 金融行业云迁移实践 HyperMotion助力江苏农信银行实施金融专有云创新项目,实现跨地域,多网点,大数据量迁移上云

    项目概述 当前,互联网技术将经济社会带入了"平台经济"的时代.<银行业信息科技"十三五"发展规划监管指导意见>要求,"十三五"期 ...

  8. kettle分批处理大表数据_采用Kettle分页处理大数据量抽取任务

    需求: 将Oracle数据库中某张表历史数据导入MySQL的一张表里面. 源表(Oracle):table1 目标表(MySQL):table2 数据量:20,000,000 思路: 由于服务器内存资 ...

  9. 大数据量下高并发同步的讲解(不看,保证你后悔!)

    偶然的机会在网上看到了这篇blog,觉得作者写得挺不错的(虽然自己并没有怎么看懂...),所以就转来跟大家分享分享吧~~~ 对于我们开发的网站,如果网站的访问量非常大的话,那么我们就需要考虑相关的并发 ...

最新文章

  1. ListView 滑动的时候 变系统默认黑色,或是设置不变色
  2. 五分钟学会HTML5!(二)
  3. P2257 YY的GCD (莫比乌斯反演)
  4. CodeBlocks: 生成的exe文件自定义一个图标
  5. Java中使用UUID工具类生成唯一标志防止重复
  6. weblogic从入门到起飞(nodemanager)(五)
  7. C ++定义QML类型
  8. mysql如何drop数据库_mysql drop database删除数据库命令实例讲解
  9. Loj #6274. 数字 数位dp + 去重
  10. 他们调查了3.9万名程序员,制作了这份开发者技能报告
  11. Uber宣布停止无人卡车项目,研发重心将转向无人小汽车
  12. 你不可能没看过这10个设计师的文章
  13. Xen和KVM的guest主机热添加硬盘
  14. 如何使用命令行进行基本操作
  15. Json格式乱码处理方式
  16. 1 10000以内的质数表C语言,求1万以内的质数表,有急用
  17. 逃跑h5小游戏源码熊出没手机游戏
  18. Java中的private关键字
  19. 免费不限速不限存储的网盘推荐
  20. 微信小程序和PWA对比分析

热门文章

  1. linux上安装osg_Linux下编译OSG全过程
  2. As-Conformal-As-Possible Surface Registration
  3. python访问oracle_用Python操作Oracle
  4. 基于知识图谱的问答系统,BERT做命名实体识别和句子相似度
  5. 数据缺失,如何智能修复?第一名方案源码分享
  6. 如何筛选特征?用随机森林(RF)
  7. 他是BAT 100万+年薪大数据专家,今天你可以免费学习他的内部课程,仅限100人...
  8. 随机森林的原理及Python代码实现
  9. 消费者价格研究中的数据分析
  10. java源码依赖分析_Spring项目运行依赖spring-contex解析