日前接到一个对名言警句这种短文本进行去重的小任务，下图是几个重复文本的示例：

很直观的结论就是重复度越高的文本，具有更多重复的词汇。一个最直接的去重思路可以描述为：将文本进行分词处理，统计各文本词汇的重合度。KShingle算法就是基于这样朴素的思想。

一、KShingle算法

对于一篇文档而言，K-shingle定义为文档中连续的K个词汇组成的词组，即：

对于一个包含

指定词组长度

有

（一）算法步骤

K-shingle算法通过将文档表示为K-shingle的集合，比较各文档K-shingle集合之间的相似性，来衡量文档的相似度。算法主要步骤如下：

1. 预处理：读取文档数据集，根据需求，对文档中的标点、空白、中英文、简繁体等字符进行清洗和整理。

2. 提取K-shingle：对清洗后的文档进行分词处理，指定shingle长度

3. 统计特征向量：所有文档的K-shingle互异值构成一个大小为

4. 计算Jaccard相似度：对于集合

5. 文本去重：基于文档相似度的结果，根据预定规则，舍弃重复文本。

（二）算法分析

关于K-shingle算法的几点分析如下：

1.超参数

算法需要指定的唯一超参数是shingle中包含的连续词汇的个数

(1) Shingle对文档语义特征的捕捉能力。

(2) Shingle对存储空间和计算效率的影响。

假设任一词汇

此外，随着

进一步地，由于特征向量维数的增加，大大降低了特征向量之间距离的计算效率。

2.特征向量处理

文档特征向量是取值为范围为

但不论以int还是bit来存储，得到的特征向量都是稀疏且高维的。如果能对特征向量进行降维，再计算相似度，可以提高计算效率，代表算法有minhash。

3.相似度计算

假设文档集包含

simhash。

注：minhash和simhash都属于局部敏感哈希（Local Sensitive Hash）。一般的哈希算法对于相似文本的哈希结果可能差别非常大，局部敏感哈希在普通哈希的基础上保留了一定程度的相似性，即相似文本的哈希结果距离较小。

二、Minhash算法

对海量文本而言，K-shingle算法得到的特征向量是超高维的，导致该算法非常巨大的时间复杂度和空间复杂度。Minhash算法设计了一种最小哈希函数，将原始超高维的稀疏向量转化为低维的稠密向量，降低了计算的空间复杂度。同时，对转换后的稠密向量进行分段索引，缩小潜在相似文本范围，降低了计算的时间复杂度。

最小哈希函数：对一个列向量按行进行随机排列，重排后第一个非零元素的行号就是最小哈希函数值。直观上来说，如果两个文本完全重复，那么不论如何重排，两个文本对应的最小哈希函数值都应该是一样的。

（一）算法步骤

1. 提取K-shingle特征向量：执行K-shingle算法的1~3步，将每篇文档表示为01向量。

2. 计算Minhash特征向量：生成一个随机排列，对文档矩阵进行重排：如果每一列表示一个文档，那么对行进行重排；如果每一行表示一个文档，那么对列进行重排。假设每一列表示一个文档，对行进行重排后，取每一列第一个取值为1的元素对应的行号，作为该列对应文档在此次随机排列后的最小哈希值。重复上述过程

3. 建立分段索引，提取潜在相似文本对：将

当分段数足够大时，两个相似文本有极大概率在某一段取值一样，极端情况下，每一个元素作为一段，两个重复的文本，必然每一段取值都一样。因此，可以将同一索引值下的文本两两组合，作为潜在相似文本对。

4. 计算潜在相似文本对的相似性：两个Minhash向量对应位置元素相等的比例，即为这两个文本的相似度

（二）算法分析

1. 两个集合最小哈希值相等的概率等于两个集合的Jaccard相似度，即：

关于这个结论，非严格的论证如下：

由于

2. 当分段数足够大时，两个相似文本有极大概率在某一段取值一样。

假设将

令

3. 最小哈希方案

方案一是每次重排后，取第一个非零元素下标，重复

方案二是一次重排后，随机取

方案二比方案一的计算效率更高。

三、Simhash算法

KShingle算法和Minhash算法都需要生成一个庞大的Shingle词组库，当文本数量和文本长度很大时，计算这个词组库需要耗费巨大的时间和空间资源，且各文档的特征向量计算都依赖这个共同的词组库，因此计算特征向量的过程很难完全地并行化。Simhash算法仅基于文档中包含的词汇生成文档的特征向量，极大提高了计算效率。

（一）算法步骤

1. 预处理：读取文档数据集，根据需求，对文档中的标点、空白、中英文、简繁体等字符进行清洗和整理。

2. 分词后计算词汇哈希：对文档进行分词处理，统计各词汇的词频，以字典形式表示即为

哈希函数，将词汇从字符串形式转换为长度为

3. 计算Simhash特征向量：将词汇哈希中的

4. 建立分段索引，提取潜在相似文本对：Simhash采用Hamming距离衡量文本相似度，Hamming距离小于等于

根据抽屉原理，若将Simhash分为

。与Minhash类似，可以将同一索引值下的文本两两组合，作为潜在相似文本对。

5. 计算潜在相似文本对的Hamming距离：两个Simhash向量按位异或之后取值为1的个数即为两个文本的距离

（二）算法分析

1. 哈希函数

这里的哈希函数是指将词汇哈希为01向量的函数。个人认为这个哈希函数应该具有两个特征：

一是哈希结果中的0和1尽量均匀地分布，否则在分段索引时，很容易造成某一段文本数量爆炸的情况。例如将词汇哈希为64维01向量时，采用高(低)位补零的策略，就会导致分段后高(低)位全为0的这个索引下有几乎全量的文本，无法达到缩小潜在相似文本范围的目的。

二是哈希结果最好能使相似词汇具有相近的哈希值，如果能做到那也是一个局部敏感哈希。

2. Simhash准确率低于Minhash

一是Simhash对文本进行分词处理并统计词频，可以认为是一个词袋模型，并没有考虑词汇的先后顺序。Minhash采用滑动窗口提取词组，加入了词汇次序信息。

二是Simhash对词汇特征向量按列求和再做符号映射，丢失了文本特征信息。

四、KSentence算法

KSentence算法基于一个朴素的假设：两个重复文本中，最长的K个句子应该是完全一样的。

（一）算法步骤

1.预处理：读取文档数据集，根据需求，对文档中的中英文、简繁体等字符进行清洗和整理。

2.提取语句：根据标点、换行符等划分语句，统计语句长度

3.计算指纹：拼接最长的

4.文本去重：根据文本指纹，过滤重复文本

（二）算法分析

关于KSentence算法的几点注解如下：

1.KSentence算法的假设很严格，实验结果显示，KSentence算法准确率较高，召回率低于Minhash和Simhash。

2.算法实现简单，计算效率高，很容易并行化。算法对于具有固定格式的模板类文档具有很好的辨识能力，但对于抄袭后进行部分修改的文本识别度较低。

五、总结

1. 算法步骤

2. 算法评估

实验对比Minhash、Simhash、KSentence的性能，结果如下：

运行速度：KSentence > Simhash > Minhash

准确率：KSentence > Minhash > Simhash

召回率：Simhash > Minhash > KSentence

工程应用上，海量文本用Simhash，短文本用Minhash，追求速度用KSentence。