MemoryStream

目录:

1 简单介绍一下MemoryStream

2 MemoryStream和FileStream的区别

3 通过部分源码深入了解下MemoryStream

4 分析MemorySteam最常见的OutOfMemory异常

5 MemoryStream 的构造

6 MemoryStream 的属性

7 MemoryStream 的方法

8 MemoryStream 简单示例 :  XmlWriter中使用MemoryStream

9 MemoryStream 简单示例 :自定义一个处理图片的HttpHandler

10 本章总结

简单介绍一下MemoryStream

MemoryStream是内存流,为系统内存提供读写操作,由于MemoryStream是通过无符号字节数组组成的,可以说MemoryStream的性能可以

算比较出色,所以它担当起了一些其他流进行数据交换时的中间工作,同时可降低应用程序中对临时缓冲区和临时文件的需要,其实MemoryStream

的重要性不亚于FileStream,在很多场合我们必须使用它来提高性能

MemoryStream和FileStream的区别

前文中也提到了,FileStream主要对文件的一系列操作,属于比较高层的操作,但是MemoryStream却很不一样,它更趋向于底层内存的操作,这样

能够达到更快的速度和性能,也是他们的根本区别,很多时候,操作文件都需要MemoryStream来实际进行读写,最后放入到相应的FileStream中,

不仅如此,在诸如XmlWriter的操作中也需要使用到MemoryStream提高读写速度

通过部分源码深入了解下MemoryStream

由于篇幅关系,本篇无法详细说明其源码,还请大家海涵,这里我就简单介绍下Write()方法的源码

  public override void Write(byte[] buffer, int offset, int count) {if (!_isOpen) __Error.StreamIsClosed();if (!_writable) __Error.WriteNotSupported();if (buffer==null)throw new ArgumentNullException("buffer", Environment.GetResourceString("ArgumentNull_Buffer"));if (offset < 0)throw new ArgumentOutOfRangeException("offset", Environment.GetResourceString("ArgumentOutOfRange_NeedNonNegNum"));if (count < 0)throw new ArgumentOutOfRangeException("count", Environment.GetResourceString("ArgumentOutOfRange_NeedNonNegNum"));if (buffer.Length - offset < count)throw new ArgumentException(Environment.GetResourceString("Argument_InvalidOffLen"));int i = _position + count;// Check for overflowif (i < 0)throw new IOException(Environment.GetResourceString("IO.IO_StreamTooLong"));if (i > _length) {bool mustZero = _position > _length;if (i > _capacity) {bool allocatedNewArray = EnsureCapacity(i);if (allocatedNewArray)mustZero = false;}if (mustZero)Array.Clear(_buffer, _length, i - _length);_length = i;}if (count <= 8){int byteCount = count;while (--byteCount >= 0)_buffer[_position + byteCount] = buffer[offset + byteCount];}elseBuffer.InternalBlockCopy(buffer, offset, _buffer, _position, count);_position = i;return;}

关于MemoryStream的源码大家可以自己学习,这里主要分析下MemoryStream最关键的Write()方法,自上而下,最开始的一系列判断大家很容易看明白,

以后对有可能发生的异常应该了如指掌了吧,判断后会取得这段数据的长度 int i=_position+count ,接下来会去判断该数据的长度是否超过了该流的长度,

如果超过再去检查是否在流的可支配容量(字节)之内,(注意下EnsureCapacity方法,该方法会自动扩容stream的容量,但是前提条件是你使用了memoryStream

的第二个构造函数,也就是带有参数是Capaciy)如果超过了流的可支配容量则将尾巴删除(将超过部分的数据清除),接下来大家肯定会问,为什么要判断count<=8,

其实8这个数字在流中很关键,个人认为微软为了性能需要而这样写:当字节小于8时则一个个读,当字节大于八时则用block拷贝的方式,在这个范围内递减循环

将数据写入流中的缓冲_buffer中,这个缓冲_buffe是memoryStream的一个私有byte数组类型,流通过读取外部byte数据放入内部那个缓冲buffer中,如果流

的长度超过了8,则用Buffer.InternalBloackCopy方法进行数组复制,不同于Array.Copy 前者是采用内存位移而非索引位移所以性能上有很大的提升。其实

这个方法的原形是属于c++中的。

分析MemorySteam最常见的OutOfMemory异常

先看下下面一段很简单的测试代码

         //测试byte数组 假设该数组容量是256Mbyte[] testBytes=new byte[256*1024*1024];MemoryStream ms = new MemoryStream();using (ms){for (int i = 0; i < 1000; i++){try{ms.Write(testBytes, 0, testBytes.Length);}catch{Console.WriteLine("该内存流已经使用了{0}M容量的内存,该内存流最大容量为{1}M,溢出时容量为{2}M", GC.GetTotalMemory(false) / (1024 * 1024),//MemoryStream已经消耗内存量ms.Capacity / (1024 * 1024), //MemoryStream最大的可用容量ms.Length / (1024 * 1024));//MemoryStream当前流的长度(容量)break;}}}Console.ReadLine();

由于我们设定了一个256M的byte(有点恐怖),看下溢出时的状态

从输出结果看,MemoryStream默认可用最大容量是512M  发生异常时正好是其最大容量,聪明的你肯定会问:如果同时使用2个MemoryStream甚至于多个内存

是怎么分配的?很好,还是用代码来看下输出结果,可以明显看出内存平均分给了2个MemoryStream但是最大容量还是512M

但是问题来了,假设我们需要操作比较大的文件,该怎么办呢?其实有2种方法能够搞定,一种是前文所说的分段处理,我们将byte数组分成等份进行

处理,还有一个方法便是尽量增加MemoryStream的最大可用容量(字节),我们可以在声明MemoryStream构造函数时利用它的重载版本:

MemoryStream(int capacity)

到底怎么使用哪种方法比较好呢?其实笔者认为具体项目具体分析,前者分段处理的确能够解决大数据量操作的问题,但是牺牲了性能和时间(多线程暂

时不考虑),后者可以得到性能上的优势但是其允许的最大容量是 int.MAX,所以无法给出一个明确的答案,大家在做项目按照需求自己定制即可,最关键

的还是要取到性能和开销的最佳点位

还有一种更恶心的溢出方式,往往会让大家抓狂,就是不定时溢出,就是MemoryStream处理的文件可能只有40M或更小时也会发生OutOfMemory

的异常,关于这个问题,终于在老外的一篇文章中得到了解释,运气不错,陈彦铭大哥在他的博客中正好翻译了下,免去我翻译的工作^^,由于这个牵涉到

windows的内存机制,包括 内存页,进程的虚拟地址空间等,比较复杂,所以大家看他的这篇文章前,我先和大家简单介绍下页和进程的虚拟地址

内存页:内存页分为:文件页和计算页
内存中的文件页是文件缓存区,即文件型的内存页,用于存放文件数据的内存页(也称永久页),作用在于读写文件时可以减少对磁盘的访问,如果它的大小

设置得太小,会引起系统频繁地访问磁盘,增加磁盘I/O;设置太大,会浪费内存资源。内存中的计算页也称为计算型的内存页,主要用于存放程序代码和临

时使用的数据

进程的虚拟地址:每一个进程被给予它的非常私有的虚拟地址空间。对于32位的进程,地址空间是4G因为一个32位指针能够有从0x00000000到0xffffffff之

间的任意值。这个范围允许指针有从4294967296个值的一个,覆盖了一个进程的4G范围。对于64位进程,地址空间是16eb因为一个64位指针能够指向

18,446,744,073,709,551,616个值中的一个,覆盖一个进程的16eb范围。这是十分宽广的范围。

上述概念都来自windows核心编程 这本书,其实这本书对我们程序员来说很重要,对于内存的操作,本人也是小白,看来这本书非买不可了。。。。

MemoryStream 的构造

MemoryStream()

MemoryStream 允许不带参数的构造

MemoryStream(byte[] byte)

Byte数组是包含了一定的数据的byte数组,这个构造很重要,初学者或者用的不是很多的程序员会忽略这个构造导致后面读取或写入数据时发现memoryStream中

没有byte数据,会导致很郁闷的感觉,大家注意下就行,有时也可能无需这样,因为很多方法返回值已经是MemoryStream了

MemoryStream(int capacity)

这个是重中之重,为什么这么说呢?我在本文探讨关于OutOfMemory异常中也提到了,如果你想额外提高MemoryStream的吞吐量(字节),也只能靠这个方法提升

一定的吞吐量,最多也只能到int.Max,这个方法也是解决OutOfMemory的一个可行方案

MemoryStream(byte[] byte, bool writeable)

Writeable参数定义该流是否可写

MemoryStream(byte[] byte, int index, int count)

Index 参数定义从byte数组中的索引index,

Count  参数是获取的数据量的个数

MemoryStream(byte[] byte,int index, int count, bool writeable, bool publiclyVisible)

publiclyVisible 参数表示true 可以启用 GetBuffer方法,它返回无符号字节数组,流从该数组创建;否则为 false,(大家一定觉得这很难理解,别急下面的方法中

我会详细讲下这个东东)

MemoryStream 的属性

Memory 的属性大致都是和其父类很相似,这些功能在我的这篇中已经详细讨论过,所以我简单列举一下其属性:  

其独有的属性:

Capacity:这个前文其实已经提及,它表示该流的可支配容量(字节),非常重要的一个属性

MemoryStream 的方法

对于重写的方法这里不再重复说明,大家可以参考我写的第一篇

以下是memoryStream独有的方法

virtual byte[] GetBuffer()

这个方法使用时需要小心,因为这个方法返回无符号字节数组,也就是说,即使我只输入几个字符例如”HellowWorld”我们只希望返回11个数据就行,

可是这个方法会把整个缓冲区的数据,包括那些已经分配但是实际上没有用到的字节数据都返回出来,如果想启用这个方法那必须使用上面最后一个构

造函数,将publiclyVisible属性设置成true就行,这也是上面那个构造函数的作用所在

virtual void WriteTo(Stream stream)

这个方法的目的其实在本文开始时讨论性能问题时已经指出,memoryStream常用起中间流的作用,

所以读写在处理完后将内存流写入其他流中

简单示例 XmlWriter中使用MemoryStream

        /// <summary>/// 演示在xmlWriter中使用MemoryStream/// </summary>public static void UseMemoryStreamInXMLWriter(){MemoryStream ms = new MemoryStream();using (ms){//定义一个XMLWriterusing (XmlWriter writer = XmlWriter.Create(ms)){//写入xml头writer.WriteStartDocument(true);//写入一个元素writer.WriteStartElement("Content");//为这个元素新增一个test属性writer.WriteStartAttribute("test");//设置test属性的值writer.WriteValue("逆时针的风");//释放缓冲,这里可以不用释放,但是在实际项目中可能要考虑部分释放对性能带来的提升writer.Flush();Console.WriteLine("此时内存使用量为:{2}KB,该MemoryStream的已经使用的容量为{0}byte,默认容量为{1}byte",Math.Round((double)ms.Length, 4), ms.Capacity,GC.GetTotalMemory(false)/1024);Console.WriteLine("重新定位前MemoryStream所在的位置是{0}",ms.Position);//将流中所在的当前位置往后移动7位,相当于空格ms.Seek(7, SeekOrigin.Current);Console.WriteLine("重新定位后MemoryStream所在的位置是{0}", ms.Position);//如果将流所在的位置设置为如下所示的位置则xml文件会被打乱//ms.Position = 0;writer.WriteStartElement("Content2");writer.WriteStartAttribute("testInner");writer.WriteValue("逆时针的风Inner");writer.WriteEndElement();writer.WriteEndElement();//再次释放writer.Flush();Console.WriteLine("此时内存使用量为:{2}KB,该MemoryStream的已经使用的容量为{0}byte,默认容量为{1}byte",Math.Round((double)ms.Length, 4), ms.Capacity, GC.GetTotalMemory(false)/1024);//建立一个FileStream  文件创建目的地是d:\test.xmlFileStream fs = new FileStream(@"d:\test.xml",FileMode.OpenOrCreate);using (fs){//将内存流注入FileStreamms.WriteTo(fs);if(ms.CanWrite)//释放缓冲区fs.Flush();}}}}

输出结果:

简单示例:自定义一个处理图片的HttpHandler

有时项目里我们必须将图片进行一定的操作,例如水印,下载等,为了方便和管理我们可以自定义一个HttpHander 来负责这些工作

后台:

  public class ImageHandler : IHttpHandler{#region IHttpHandler Memberspublic bool IsReusable{get { return true; }}/// <summary>/// 实现IHTTPHandler后必须实现的方法/// </summary>/// <param name="context">HttpContext上下文</param>public void ProcessRequest(HttpContext context){context.Response.Clear();//得到图片名var imageName = context.Request["ImageName"] == null ? "逆时针的风": context.Request["ImageName"].ToString();//得到图片ID,这里只是演示,实际项目中不是这么做的var id = context.Request["Id"] == null ? "01": context.Request["Id"].ToString();//得到图片地址var stringFilePath = context.Server.MapPath(string.Format("~/Image/{0}{1}.jpg", imageName, id));//声明一个FileStream用来将图片暂时放入流中FileStream stream = new FileStream(stringFilePath, FileMode.Open);using (stream){//透过GetImageFromStream方法将图片放入byte数组中byte[] imageBytes = this.GetImageFromStream(stream,context);//上下文确定写到客户短时的文件类型context.Response.ContentType = "image/jpeg";//上下文将imageBytes中的数据写到前段context.Response.BinaryWrite(imageBytes);stream.Close();}}/// <summary>/// 将流中的图片信息放入byte数组后返回该数组/// </summary>/// <param name="stream">文件流</param>/// <param name="context">上下文</param>/// <returns></returns>private byte[] GetImageFromStream(FileStream stream, HttpContext context){//通过stream得到ImageImage image = Image.FromStream(stream);//加上水印image = SetWaterImage(image, context);//得到一个ms对象MemoryStream ms = new MemoryStream();using (ms){//将图片保存至内存流image.Save(ms, ImageFormat.Jpeg);byte[] imageBytes = new byte[ms.Length];ms.Position = 0;//通过内存流读取到imageBytesms.Read(imageBytes, 0, imageBytes.Length);ms.Close();//返回imageBytesreturn imageBytes;}}/// <summary>/// 为图片加上水印,这个方法不用在意,只是演示,所以没加透明度/// 下次再加上吧/// </summary>/// <param name="image">需要加水印的图片</param>/// <param name="context">上下文</param>/// <returns></returns>private Image SetWaterImage(Image image,HttpContext context) {Graphics graphics = Graphics.FromImage(image);Image waterImage = Image.FromFile(context.Server.MapPath("~/Image/逆时针的风01.jpg"));//在大图右下角画上水印图就行graphics.DrawImage(waterImage,new Point { X = image.Size.Width - waterImage.Size.Width,Y = image.Size.Height - waterImage.Size.Height });return image;}#endregion}

别忘了还要在Web.Config中进行配置,别忘记verb和path属性,否则会报错

    <httpHandlers><add type="ImageHandler.ImageHandler,ImageHandler"  verb="*" path="ImageHandler.apsx"/></httpHandlers>

这样前台便能使用了

<asp:Content ID="BodyContent" runat="server" ContentPlaceHolderID="MainContent"><h2>About</h2><p>Put content here.<asp:Image runat="server" ImageUrl="ImageHandler.apsx?ImageName=逆时针的风&Id=02" /></p>
</asp:Content>

输出结果

本章总结

本章主要介绍了MemoryStream 的一些概念,异常,结构,包括如何使用,如何解决一些异常等,感谢大家一直支持和鼓励,文中如出现错误还请大家海涵,深夜写文不容易,

还请大家多多关注,下篇会介绍BufferedStream,尽请期待!

转载于:https://www.cnblogs.com/Zsundy/p/9325339.html

C# 温故而知新:Stream篇(五)相关推荐

  1. C# 温故而知新:Stream篇(七)

    C# 温故而知新:Stream篇(七) NetworkStream 目录: NetworkStream的作用 简单介绍下TCP/IP 协议和相关层次 简单说明下 TCP和UDP的区别 简单介绍下套接字 ...

  2. C# 温故而知新:Stream篇(二)

    C# 温故而知新:Stream篇(二) TextReader 和StreamReader 目录: 为什么要介绍 TextReader? TextReader的常用属性和方法 TextReader 示例 ...

  3. C# 温故而知新:Stream篇(—)

    C# 温故而知新:Stream篇(-) 目录: 什么是Stream? 什么是字节序列? Stream的构造函数 Stream的重要属性及方法 Stream的示例 Stream异步读写 Stream 和 ...

  4. C# 温故而知新:Stream篇(六)

    C# 温故而知新:Stream篇(六) BufferedStream 目录: 简单介绍一下BufferedStream 如何理解缓冲区? BufferedStream的优势 从BufferedStre ...

  5. 为啥linux分区是nvme0n1,NAS 篇五:尝试达成最终目标: 黑裙+万兆网卡+Nvme 存储空间的实现与测试...

    NAS 篇五:尝试达成最终目标: 黑裙+万兆网卡+Nvme 存储空间的实现与测试 2020-01-18 18:49:23 46点赞 248收藏 80评论 创作立场声明:1. 本系列文章讨论NAS与局域 ...

  6. Android日志[进阶篇]五-阅读错误报告

    Android日志[进阶篇]一-使用 Logcat 写入和查看日志 Android日志[进阶篇]二-分析堆栈轨迹(调试和外部堆栈) Android日志[进阶篇]三-Logcat命令行工具 Androi ...

  7. 国内外物联网平台初探(篇五:机智云平台)

    国内外物联网平台初探(篇五:机智云平台) ------ [导读]------ 物联网智库将在每周五下午的第二篇文章推送由马智先生研究撰写的系列文章--<国内外物联网平台初探>. 物联网智库 ...

  8. 硬盘底座linux,微客智品 篇五十二:机械硬盘如何安放?用奥睿科单盘位移动硬盘底座助力新玩法...

    微客智品 篇五十二:机械硬盘如何安放?用奥睿科单盘位移动硬盘底座助力新玩法 2020-01-07 15:36:58 1点赞 10收藏 30评论 随着新一代M.2硬盘的流行与普及,3.5寸机械硬盘愈发变 ...

  9. C++初步之核心编程篇五:多态与虚函数类

    C++初步之核心编程篇五:多态与虚函数类 文章目录 C++初步之核心编程篇五:多态与虚函数类 1. 多态的概要 2. 多态案例一-计算器类 3. 纯虚函数和抽象类 4. 多态案例二-制作饮品 5. 虚 ...

  10. 《培生小学英语分级阅读80篇 五年级》勘误表

    <培生小学英语分级阅读80篇 五年级>勘误表 培生小学英语分级阅读80篇 五年级 于景霞 主编 北京:外文出版社,2018.7 ISBN 978-7-119-11585-6 http:// ...

最新文章

  1. jpa批量删除数据_EXCEL批量删除非数值数据,这么多方法你用哪一个?
  2. [转] 2012年经典书目
  3. 【渝粤教育】21秋期末考试互联网营销概论10092k2
  4. linux下静默安装weblogic 12
  5. 针对ASP.NET页面实时进行GZIP压缩优化的几款压缩模块的使用简介及应用测试!(附源码)...
  6. oracle 如何更改为归档模式
  7. 项目管理:如何做好进度管理?
  8. poi导出excel报错Failed to read zip entry source
  9. ARM920T的MMU
  10. m苹果放n篮子_M个相同苹果放到N个相同篮子里有多少种放法
  11. QQ网页微信二维码登陆原理分析
  12. appium+python闲鱼采购自动化测试实战
  13. (山理工 1243)母牛问题(大牛生小牛,小牛生。。。。)
  14. 第10章: 面向对象编程(高级部分)
  15. Cleartext HTTP traffic to xxx not permitted解决
  16. mysql如何恢复单表_MySQL如何恢复单库或单表,以及可能遇到的坑
  17. 云豹智能发布全功能云霄DPU网卡,引领数据中心新趋势
  18. 脚本实现批量打开常用软件
  19. 谢国忠:不得不告诉你一个坏消息
  20. 微信页面通过LocalID预览图片,getlocallmgdata

热门文章

  1. 树莓派 Linux 操作系统大全
  2. 2019圣诞节 — 徒步看风景
  3. 正版rust30005_预算大概在3000以内可以买猫吗?
  4. 2. 导弹防御系统(动态规划)
  5. python 爬虫3 新浪微博 爬虫 实战
  6. 总有一项适合你:联想 Miix2 8寸版触摸屏失灵的各项解决方案
  7. echarts 乡镇级地图制作办法
  8. python 元类理解
  9. GC overhead limit exceeded 的解决方案与详情分析
  10. python-flask 设置网页保留缓存静态文件时间