抽屉原理与Simhash

抽屉原理：把多余N个物体反倒N个抽屉，至少有一个抽屉里的物体数不少于两件。

simhash：如果两个输入(文档)越相似，其哈希值越相近。具体哈希算法，可以百度一下，也比较简单。

那么抽屉原理和simhash有什么关系呢？

他俩一般组合起来用，通常用于文档判重上。最著名的当然是google用于网页判重上。

定义两个文档相似为两个文档simhash值海明距离(二进制数不同的位数)小与3。

给定上亿的文档，如何计算新来一个文档有没有重复呢？

这时候就要用到抽屉原理了。我们可以将文档sim哈希值分成四段，那么根据抽屉原理，如果两个文档详细，那么至少有一段内容完全相同！

我们可以通过先将文档根据simhash值分4块，再按每块进行聚类(分组)。新来一个文档，将其simhash值也分成4块，再针对每块查找hash值完全相同的分组，就可以知道跟哪些文档相似了。

抽屉原理与Simhash相关推荐

Algorithm：C++语言实现之SimHash和倒排索引算法相关(抽屉原理、倒排索、建立查找树、处理Hash冲突、Hash查找)
Algorithm:C++语言实现之SimHash和倒排索引算法相关(抽屉原理.倒排索.建立查找树.处理Hash冲突.Hash查找) 目录一.SimHash算法 1.SimHash算法五个步骤 2. ...
poj2356（抽屉原理）
题意:从输入的N个元素中找出是N的倍数的元素并且输出: 因为这个要求的是连续的数之和,先用sum数组求和:sum[1],sum[1]+sum[2],--,sum[1]+sum[2]+--+sum[n] ...
牛客算法周周练2 B Music Problem（DP，抽屉原理，二进制拆分）
链接:https://ac.nowcoder.com/acm/contest/5203/B 来源:牛客网题目描述 Listening to the music is relax, but for o ...
POJ 2356 Find a multiple （抽屉原理）
感觉这个题很不错,至少开始真的没想道可以用抽屉原理推出一个结论,然后把这题秒掉.... 已知有n个元素,sum[i]表示从1到i所有数的和...sum[i]%n可以得到一个剩余系,如果出现0,那么结果 ...
鸽巢原理(抽屉原理)的详解
抽屉原理百科名片桌上有十个苹果,要把这十个苹果放到九个抽屉里,无论怎样放,我们会发现至少会有一个抽屉里面放两个苹果.这一现象就是我们所说的"抽屉原理". 抽屉原理的一般含义为: ...
POJ 2356 (抽屉原理)
题目中说:随便输出一组.抽屉原理可以求出取出的数连续的情况. #include <iostream> #include<cstdio> using namespace std; ...
14. 不修改数组找出重复的数字【难度: 一般 / 知识点: 抽屉原理二分】
第一种方法: 开了map计数,多用了空间,map: logn,时间复杂度O(nlogn) class Solution {public:int duplicateInArray(vector<i ...
hdu 3303(线段树+抽屉原理)
解题思路:这题利用了抽屉原理,即1-M之间的所有数与M+1的模都不相同.那么可以利用它将要查找所有区间分成[1,Y-1],[Y,2*Y-1],[2*Y,3*Y-1].........一直下去,直到所有 ...
N的倍数（抽屉原理）
一个长度为N的数组A,从A中选出若干个数,使得这些数的和是N的倍数. 例如:N = 8,数组A包括:2 5 6 3 18 7 11 19,可以选2 6,因为2 + 6 = 8,是8的倍数. Input ...

抽屉原理与Simhash

抽屉原理与Simhash相关推荐

最新文章

热门文章