维护100亿个URL

http://s.sousb.com/2011/04/19/%E7%BB%B4%E6%8A%A4100%E4%BA%BF%E4%B8%AAurl/

题目：url地址比如http://www.baidu.com/s?wd=baidu 的属性，包括定长属性（比如其被系统发现的时间）和不定长属性（比如其描述）实现一个系统a.储存和维护100亿个url及其属性。b.实现url及其属性的增删改。c.查一个url是否在系统中并给出信息。d.快速选出一个站点下所有url

提示：因为数据量大，可能存储在多台计算机中。

分析：这是一道百度的笔试题，这道题比较难，笔者只能给出几个认识到的点。

首先，这些url要经过partition分到X台机器中：考虑使用一个hash函数hash(hostname(url))将url分配到X台机器中，这样做的目的：一是数据的分布式存储，二是同一个站点的所有url保存到同一台机器中。
其次，每台机器应该如何组织这些数据？一种思路是用数据库的思路去解决，这里提供另外一种思路。考虑将url直接放在内存，接将url组织成树状结构，对于字符串来说，最长使用的是Trie tree，由于所占空间由最长url决定，在这里绝对不适用，再加上很多url拥有相同的属性（如路径等）这样，使用trie tree 的一个变种radix tree，相比会非常节省空间，并且不会影响效率。
最后，给出了存储模型，上面的abcd四问该怎么回答，这里就不一一解答了。

维护100亿个URL相关推荐

找到100亿个URL中重复的URL及搜索词汇的TopK问题
题目:有一个包含100亿个url的大文件,假设每个url占用64B,请找出其中所有重复的url 补充问题:某搜索公司一天的用户搜索词汇是海量的,请设计一种求出每天热门的top 100 词汇的可行方法 ...
找到100亿个URL中重复的URL
分享一个大牛的人工智能教程.零基础!通俗易懂!风趣幽默!希望你也加入到人工智能的队伍中来!请轻击http://www.captainbed.net 把大文件通过哈希函数分配到机器,或者通过哈希函数把大 ...
5 判断数据是否存在_Trie树实现：100亿URL中判断某个URL是否存在
之前在头条看到一篇<如何在100亿URL中判断某一个URL是否存在>,里面介绍的是使用布隆算法bloomfilter,我们也知道bloomfilter只能保证URL不存在. 在这里介绍一个 ...
算法面试，如何在100 亿URL中判断某个URL是否存在
转载自算法面试,如何在100 亿URL中判断某个URL是否存在如果面试官问你,一个网站有 100 亿 url 存在一个黑名单中,每条 url 平均 64 字节.问这个黑名单要怎么存?若此时随便输 ...
思考题：存储了100亿个非法网页的url地址。每个URL地址的大小占用64B。要求实现一个网页过滤系统，内存使用不能超过30GB，此外，允许有一定的误判率，但是不能超过万分之一
https://cloud.tencent.com/developer/article/1480540 解题思路:布隆过滤器基础介绍布隆过滤器(Bloom Filter)是1970年由布隆提出的. ...
字节一面：如何从 100 亿 URL 中找出相同的 URL？
点击关注公众号,Java干货及时送达题目描述给定 a.b 两个文件,各存放 50 亿个 URL,每个 URL 各占 64B,内存限制是 4G.请找出 a.b 两个文件共同的 URL. 解答思路每 ...
如何从 100 亿 URL 中找出相同的 URL？
来源 | https://doocs.github.io/advanced-java/ 题目描述给定 a.b 两个文件,各存放 50 亿个 URL,每个 URL 各占 64B,内存限制是 4G.请找 ...
面试：如何从 100 亿 URL 中找出相同的 URL？
题目描述给定 a.b 两个文件,各存放 50 亿个 URL,每个 URL 各占 64B,内存限制是 4G.请找出 a.b 两个文件共同的 URL. " 推荐一个艿艿写的 6000+ Sta ...
扛住 100 亿次请求？我们来试一试
点击上方"方志朋",选择"设为星标" 回复"666"获取新整理的面试资料来源:github.com/xiaojiaqi/10billion ...

维护100亿个URL

维护100亿个URL相关推荐

最新文章

热门文章