Hyper-v Server重复数据删除技术

老衲听说windows Server 2012中新增了一项技术叫做重复数据删除，据说这个重复数据删除可以大大的节省磁盘的空间，下面我们来看看什么是重复数据删除：

重复数据删除指的是在数据中查找和删除重复内容，而不会影响其保真度或完整性。其目标是通过将文件分割成大小可以改变 (32-128 KB) 的小区块、确定重复的区块，然后为每个区块保留一个副本，从而在更小的空间中存储更多的数据。区块的冗余副本由对单个副本的引用所取代。区块会进行压缩，然后以特殊的容器文件形式组织到 System Volume Information 文件夹中：

Windows Server 2012/R2开始集成重复数据删除技术，通过使用Windows Server 2012/R2内置的重复数据删除功能，企业可以极大的改善存储空间的使用效率问题。对于大部分企业 IT 部门，存储效率都是个真正的大问题，因为存储成本的下降速度远远不能抵消数据量的增长速度。为降低增加存储空间的需求，需要对数据存储效率进行改善，无论数据保存在数据存储中，或者通过广域网络（WAN）进行移动，都是一个大问题。为了对这种增长做出响应，企业 IT 部门会对文件服务器进行整合。与此同时，还会将存储的扩展与优化作为其存储整合平台的一个主要目标。

为了应对企业数据存储的增长，管理员想要合并多个服务器，并将容量伸缩和数据优化设置为关键目标。重复数据删除功能提供了用来实现这些目标的可行方法，其中包括：

1、容量优化：Windows 8.1&Server 2012 中的重复数据删除功能以更少的物理空间存储更多数据。它能比单实例存储 (SIS) 或 NTFS 压缩等功能实现更大的存储效率。重复数据删除功能使用子文件可变大小的区块和压缩，常规文件服务器的优化率共为 2:1，而虚拟数据的优化率最高可达 20:1。

2、伸缩性和性能：在 Windows 8.1& Server 2012 中，重复数据删除功能具有高度的可伸缩性，能够有效利用资源，并且不会产生干扰。它每秒可以处理大约 20 MB 数据，而且可以同时在多个卷上运行，而不会影响服务器上的其他工作负载。通过限制 CPU 和内存资源的消耗，保持对服务器工作负载的较低影响。如果服务器太忙，则重复数据删除功能可能会完全停止。此外，管理员的灵活性也比较强：可以在任意时间运行重复数据删除、设置重复数据删除功能的运行计划、建立选择策略。

3、可靠性和数据完整性：在应用“重复数据删除”时，保持数据的完整性。Windows 8.1&Server 2012 使用校验和、一致性和身份验证来确保数据的完整性。而且，对于所有的元数据和最常引用的数据，重复数据删除功能会保持冗余，从而确保数据可在数据损坏时恢复。

4、与 BranchCache 一起提高带宽效率：通过与 BranchCache 进行集成，同样的优化技术还可应用于通过 WAN 传输到分支机构的数据。结果就是缩短文件下载时间和降低带宽占用。

5、使用熟悉的工具进行优化管理: Windows 8.1&Server 2012 拥有内置于服务器管理器和 Windows PowerShell 的优化功能。默认设置可立即实现节省，管理员也可以对设置进行微调从而实现更多的节省。用户可以轻松使用 Windows PowerShell cmdlet 开始优化作业或计划在将来运行。也可使用 Unattend.xml 文件（可调用 Windows PowerShell 脚本并与 Sysprep 一起用于在系统首次启动时部署删除重复）来安装“重复数据删除”功能并在选定卷上启用删除重复。

针对卷启用了重复数据删除而且对数据进行优化之后，卷中会包含以下内容：

1、未优化的文件：例如，未优化的文件可以包括：无法满足所选文件保留时间策略设置的文件、系统状态文件、备用数据流、加密文件、具有扩展属性的文件、小于 32 KB 的文件、其他重新分析点文件或者正由其他应用程序使用的文件。

2、优化的文件：作为重新分析点存储的文件，其中包含的指针指向区块存储中各个区块的地图，这些区块是还原所请求的文件所必需的。

3、区块存储：优化的文件数据所在的位置。

4、额外的可用空间：优化的文件和区块存储比优化前占用的空间要小很多。

若要充分利用 Windows Server 2012/R2 中的重复数据删除技术，则环境必须符合以下要求：

1、一台运行 Windows Server 2012/R2 的计算机

2、至少包含一个数据卷的虚拟机；

OK、下面来给大家演示一下如何配置重复数据删除功能：

登陆服务器“HV-01”，打开服务器管理器，点击“添加角色和功能”：

在选择“服务器角色”位置展开“文件和存储服务”—勾选“文件和ISCSI服务”—勾选“数据删除重复”，点击下一步：

确认所要安装功能没有问题，点击安装：

安装完成后在服务器管理器页面点击文件文件和存储服务，点击卷，此时能看见仪表盘中以列出重复数据删除相关信息：

鼠标右键卷，选择“配置重复数据删除”：

重复数据删除设置向导将出现，这里可以选择“已禁用”、“一般用途文件服务器”或者“VDI服务器”，这里选择“一般用途文件服务器”：

可以设定多长时间的文件执行重复数据删除：

如果不想对特定文件扩展名的文件进行重复数据删除，可以选择要排除的文件扩展名，比如我们工作中常用的Word文档也就是.doc格式的文件：

重复数据删除不仅可以以文件扩展名的方式排除要进行删除的文件还可以以指定文件夹及子文件夹的方式排除要进行重复数据删除的文件夹，如下图所示：

设置重复数据删除计划，可根据实际场景设置作业时间：

开始执行重复数据删除前，设定开始时间：

点击确定以后等待其开始执行重复数据删除。

对于重复数据删除需要注意的是，重复数据删除功能不可以再系统分区中使用，也就是说其只可以使用在非系统分区上如下图所示：

OK，到这里今天的博客就结束了，更多精彩内容期待大家的关注！

本文转自wuyvzhang 51CTO博客，原文链接：http://blog.51cto.com/wuyvzhang/1725464，如需转载请自行联系原作者