1.关于重复数据删除

重复数据删除技术是一种数据缩减技术，旨在减少存储系统中使用的存储容量，通常用于基于磁盘的备份系统。重复数据删除技术的工作方式是在某个时间周期内查找不同文件中不同位置的重复可变大小数据块。重复的数据块用指示符取代。高度冗余的数据集(例如备份数据)从数据重复删除技术的获益极大;用户可以实现10比1至50比1的缩减比。

重复数据删除技术除了在存储方面的优势之外还有很多地方可以应用，比如它还可以显著降低通过网络复制数据所需的带宽，从而为远程复制提供类似优势。因此，可为磁盘备份提供切实可行的基于 WAN 的灾难恢复 (DR) 保护，并降低对移动介质的需求。

每个 IT 机构所需的最基本的灾难恢复 (DR) 保护确保了备份数据安全，使其免遭现场丢失或损坏。设备和应用程序都可以更换，但数字资产通常是不可替代的。不管特定存储或备份系统的弹性或冗余有多强，或者拥有多少层冗余，当所有数据副本都位于单一位置和单一硬件系统时，它们非常容易受到针对特定位置的损坏，包括自然灾害、火灾、盗窃以及恶意或意外的设备损坏等。

重复数据删除技术为 IT 部门提供了一种全新的 DR 选择，使通过 WAN 进行站点间复制成为另一种切实可行的方法，不仅使 DR 更易实施，而且可以降低运营费用，减少移动介质的使用。

2.数据复制的模式

有以下两种得到广泛认可的复制模式：同步复制和异步复制。同步复制通常又称为映射，可通过在每个 I/O 周期在两个存储系统之间传输数据块，来始终保持两个主活动数据集处于同一状态。同步复制通常可为复制数据提供非常快的故障转移（如果主数据集受到损坏）功能，并且往往会涉及两个独立的存储系统，而且这两个系统通常位于不同位置。因为只有在本地和远程写入完成后，同步复制系统才会向主机发送 I/O 完成状态信号，因此，同步复制系统统常需要高速链接，这会降低性能，而且复杂难管。因此，该技术通常适用于必须始终保持可用性的事务导向型应用中所使用的重要数据。

异步复制同样可应用于主数据映射。在这种操作模式下，第二个数据集将动态地作为主数据集的副本加以保留，但第二个数据集可以滞后主数据集一定时间。只允许延迟一个或两个 I/O 周期（以确保映射始终为最新内容），但也可能更长。尽管映射的映像滞后主数据太多，但异步映射占用带宽较少，而且往往可以最大限度降低对主数据进行操作的负面影响，因此，主系统可能需要定期暂停写入，以便及时进行映射。

另外，异步复制还可用于备份映像等非动态、时间点映像，以提供现场数据丢失和灾难恢复保护。

该技术比映像技术更加易于实施，不仅可以防止出现其他故障，减少移动介质的使用，而且对主应用程序影响更小。备份数据是一种可用于 DR 的很好的复制方法，它不仅是主数据的时间点副本，而且可以通过备份流程与主应用程序隔离开来。阻碍备份数据复制广泛部署一大因素在于：通常情况下，备份数据量较大时，通过广域网复制变得非常困难。

3.将重复数据删除技术应用于复制过程

重复数据删除技术可减少通过网络创建和维护重复数据集所导致的带宽耗费和相应成本，因而，使备份数据复制更加切实可行。支持重复数据删除技术的复制与支持重复数据删除技术的数据存储基本相似。一旦为一个备份数据存储创建了两个映像，要想保持映像或目标内容与源内容相同，就必须定期复制和迁移备份事件所添加的新数据段、元数据映像或命名空间。不同厂商和不同数据简化系统所使用的处理方法可能存在重大差异。此处我们以 Quantum 昆腾在其 DXi 系列磁盘备份和远程复制解决方案中采用的异步复制方法为例进行介绍。DXi 系列设备可以通过复制，在借助 WAN 连接进行数据传输的不同设备上创建并维护备份数据集的备份映像。使用 DXi 系列设备，可以对整个源设备或在源设备中创建的单个 NAS 共享或虚拟磁带库进行复制。复制流程始于将源设备某一共享或某一部分中的所有数据段复制到另一目标设备对等的相应共享或部分。尽管这种初始数据传输可通过网络进行，但由于数据量过大，对源设备和目标设备进行临时共置以使数据集实现同步，或者使用磁带传输初始数据集，都是切实可行的。

在源设备和目标设备实现同步后，对于写入源设备的每个新备份事件，复制流程只发送新的数据段。如果新的备份事件变化率达到 1%，创建映像的最大带宽需求将是复制写入源设备的整个备份数据集所需带宽的百分之一。由于 Quantum 使用两阶段、预传输流程作为其复制软件的一部分，因此，带宽需求可能进一步降低。

在本系统中，将数据发送到目标设备之前，DXi 系列复制软件会将可用于复制的数据块的列表发送至目标设备（该列表通常仅几 MB 大小，比实际数据要小得多）。目标设备可通过已存储的数据段索引来核对该数据段列表，并返回包含本地不可用而需要从源 DXi 系列设备发送的要素的列表。随后，源设备将通过网络发送新数据段的副本。一旦备份作业开始被写入源设备，数据段便会在后台被发送，当新的备份映像元数据被传送时，复制即告完成。此时，备份映像可用于在目标设备上进行恢复。

使用 DXi 系列复制软件可以让多个源设备指向同一个目标设备，而且复制通常都是采用分区到分区的（例如，每个源设备都由将数据复制到源设备上类似映像的特定设备分区构成，分区可能是 NAS 共享库分区，也可能是虚拟磁带库分区）方式。可删除所发送备份映像中所有重复数据段的共用重复数据删除池支持目标设备上的所有复制映像。也就是说，重复数据删除将在不同的源位置间发生，因此，如果相同数据块在源位置 A 和 B 均有备份，当位置 A 和 B 都向同一目标设备复制数据时，将只在共用位置 C 处存储一次。

检查目标位置已有哪些数据段存在的预传输流程是 DXi 系列复制流程的重要功能之一。这意味着，如果昨天已从源位置 A 备份过数据段，而今天要在源位置 B 再备份这些数据段，则这些数据段不会在目标位置再存储一次，而且将不会通过网络发送。只有元数据需要发送和存储。该预传输重复数据段删除功能会显著降低以分布方式使用类似文件设置进行工作的用户环境中进行复制所需的带宽。