Note: Bimodal Content Defined Chunking for Backup Streams

2024-06-08 10:09:48

CDC算法给出了一个chunk的大小的最小值、最大值、平均值的界定。

Method

Using chunk existence information

breaking-apart algorithm

将所有内容全部划分为较大的chunk，然后识别新内容的变化区域，然后在这个变化区域的附近重新划分较小的chunk。重复进行数据重删。

building-up algorithm

在开始时将chunk的大小初始化为一个较为合适的值，然后组合较小的chunk。通过一个建块算法，查询更多的大块的位置和更细小的单个插入修改块。在输入中的任意位置均需要判断要建立小块还是建立大块，这种算法称之为bimodal chunking算法。

Baseline rolling window cut-point selection.

与预设值匹配给定的l个bit的值，如果匹配成功，则在l bit的最后一位处产生了切割点。几何分布下定义平均chunk大小为\(2^l\)。将其称为\(level-2^l\)chunker。

对于chunk最小值\(m\)，通常chunk的平均大小是\(m+2^l\)。对于chunk最大值\(M\)，一个\(level-2^l\) chunker通常会达到最大值：\(e^{-(M-m)/2^l}\)。在这里，M并非内容定义的。对于备份数据，给出\(level-2^{l-b}\) chunk，尽量避免非文本定义的切割点。

Breaking-apart algorithms

Chunk amalgamation algorithms

resynchronization 再同步

转载于:https://www.cnblogs.com/tinoryj/p/Bimodal-Content-Defined-Chunking-for-Backup-Stream.html

Note: Bimodal Content Defined Chunking for Backup Streams相关推荐

基于内容可变长度分块Content Defined Chunking
最近在研究开源网络云盘代码,发现他们在文件存储时用到一种文件切割复用的技术,能大大提高磁盘使用率,节省空间在网上找了些这个技术(Content Defined Chunking)的一些说明. 基于内 ...
IPFS（三）源码解读之-add
Add 所作的事其实就是将文件传到IPFS上,通过块的方式存到本地blockstore中. 在ipfs的安装目录的blocks目录下保存了当前本地节点所存储的所有的块数据,具体有没有对数据加密,我也没 ...
演示IPFS的一个完整的流程以及针对部分概念的详解
整体的流程 1,创建ipfs节点通过ipfs init在本地计算机建立一个IPFS节点本文有些命令已经执行过了,就没有重新初始化.部分图片拷贝自先前文档,具体信息应以实物为准 $ ipfs ini ...
SAP HANA Backup and Recovery
2019独角兽企业重金招聘Python工程师标准>>> SAP HANA Backup and Recovery Skip to end of metadata Created by ...
【英文】Node.js Streams: Everything you need to know //转载
by Samer Buna Update: This article is now part of my book "Node.js Beyond The Basics". Rea ...
053试题 181/182/183/558/600/608/631/636/657/661/664/668/670/696 - RMAN backup
题目: 181.Your database has a backup that was taken yesterday (Tuesday) between 13:00 and 15:00 hours. ...
NetBackup 8.2 LinuxR Oracle脚本备份
文章目录 NBU脚本备份oracle 准备备份前,要做下oracle_link 添加授权位置 NBU脚本备份oracle 准备备份前,要做下oracle_link 用oracle账号执行: oracl ...
RTP Payload Format for High Efficiency Video Coding (HEVC)
版权申明:未经允许请勿转载.转载前请先联系作者(hello@yeshen.org) This memo describes an RTP payload format for the video co ...
论文笔记【A Comprehensive Study of Deep Video Action Recognition】
论文链接:A Comprehensive Study of Deep Video Action Recognition 目录 A Comprehensive Study of Deep Video A ...

最新文章

热门文章