Murmurhash介绍与实现

MurmurHash 是一种非加密型哈希函数，适用于一般的哈希检索操作。由Austin Appleby在2008年发明，并出现了多个变种，都已经发布到了公有领域(public domain)。与其它流行的哈希函数相比，对于规律性较强的key，MurmurHash的随机分布特征表现更良好。---摘自wiki

Redis在实现字典时用到了两种不同的哈希算法，MurmurHash便是其中一种（另一种是djb），在Redis中应用十分广泛，包括数据库、集群、哈希键、阻塞操作等功能都用到了这个算法。发明算法的作者被邀到google工作，该算法最新版本是MurmurHash3，基于MurmurHash2改进了一些小瑕疵，使得速度更快，实现了32位（低延时）、128位HashKey，尤其对大块的数据，具有较高的平衡性与低碰撞率。

MurmurHash2的实现，可以放到自己的工程中使用。

unsigned int murMurHash(const void *key, int len)
{
const unsigned int m = 0x5bd1e995;
const int r = 24;
const int seed = 97;
unsigned int h = seed ^ len;
// Mix 4 bytes at a time into the hash
const unsigned char *data = (const unsigned char *)key;
while(len >= 4)
{
unsigned int k = *(unsigned int *)data;
k *= m;
k ^= k >> r;
k *= m;
h *= m;
h ^= k;
data += 4;
len -= 4;
}
// Handle the last few bytes of the input array
switch(len)
{
case 3: h ^= data[2] << 16;
case 2: h ^= data[1] << 8;
case 1: h ^= data[0];
h *= m;
};
// Do a few final mixes of the hash to ensure the last few
// bytes are well-incorporated.
h ^= h >> 13;
h *= m;
h ^= h >> 15;
return h;
}

MurmurHash3的实现与测试可以见这里google code。

以下是来自google的测试，对8byte对齐的256k数据块进行hashing，硬件平台Intel Core 2 Quad Q9650，3.0ghz,单核运行。

FNV_x86_32 - 554 mb/sec
FNV_x64_32 - 715 mb/sec
SuperFastHash_x86_32 - 1224 mb/sec (1)
SuperFastHash_x64_32 - 1311 mb/sec
Lookup3_x86_32 - 1234 mb/sec
Lookup3_x64_32 - 1265 mb/sec

MurmurHash2_x86_32 - 2577 mb/sec
MurmurHash2_x86_64 - 3352 mb/sec (2)
MurmurHash2_x64_64 - 2857 mb/sec

MurmurHash3_x86_32 - 3105 mb/sec
MurmurHash3_x86_128 - 2684 mb/sec
MurmurHash3_x64_128 - 5058 mb/sec (3)

Murmurhash介绍与实现相关推荐

【转载】Murmurhash介绍与实现
MurmurHash 是一种非加密型哈希函数,适用于一般的哈希检索操作. 由Austin Appleby在2008年发明, 并出现了多个变种,都已经发布到了公有领域(public domain) ...
【hive 日期函数】Hive常用日期函数整理
1.to_date:日期时间转日期函数 select to_date('2015-04-02 13:34:12'); 输出:2015-04-02 1 2 2.from_unixtime:转化unix时 ...
Murmurhash 哈希算法介绍与实现
最近在项目代码中看到了一种hash算法,以前没有遇见过,在此记录下来. 一.介绍 MurmurHash 是一种非加密型哈希函数,适用于一般的哈希检索操作. 由Austin Appleby在2008 ...
hash函数MurmurHash
一.介绍 MurmurHash算法:高运算性能,低碰撞率,由Austin Appleby创建于2008年,现已应用到Hadoop.libstdc++.nginx.libmemcached等开源系统.2 ...
mysql 分区 mycat 分片_Mysql系列六：（Mycat分片路由原理、Mycat常用分片规则及对应源码介绍）...
一.Mycat分片路由原理我们先来看下面的一个SQL在Mycat里面是如何执行的: select * from travelrecord where id in(5000001, 10000001) ...
hash函数的简单介绍
HASH函数应用Hash函数作者:冲处宇宙时间:2007.1.25 计算理论中,没有Hash函数的说法,只有单向函数的说法.所谓的单向函数,是一个复杂的定义,大家可以去看计算理论或者密码学方面的 ...
openresty中应用murmurHash
介绍: MurmurHash 是一种非加密型哈希函数,适用于一般的哈希检索操作.由Austin Appleby在2008年发明,并出现了多个变种,都已经发布到了公有领域(public domain). ...
ios 关于常用的一些第三方框架的介绍
本文转载自:http://blog.csdn.net/xiaoyuertongxue/article/details/46982879 图像: 1.图片浏览控件MWPhotoBrowser 实现了一 ...
iOS开发-常用第三方开源框架介绍(你了解的ios只是冰山一角)--(转)
图像: 1.图片浏览控件MWPhotoBrowser 实现了一个照片浏览器类似 iOS 自带的相册应用,可显示来自手机的图片或者是网络图片,可自动从网络下载图片并进行缓存.可对图片进行缩放等操作. ...

Murmurhash介绍与实现

Murmurhash介绍与实现相关推荐

最新文章

热门文章