找到100亿个URL中重复的URL及搜索词汇的TopK问题

题目：有一个包含100亿个url的大文件，假设每个url占用64B，请找出其中所有重复的url

补充问题：某搜索公司一天的用户搜索词汇是海量的，请设计一种求出每天热门的top 100 词汇的可行方法

思想：用哈希分流的思想来处理，把包含百亿数量的词汇文件分流到不同机器上，具体多少台机器根据面试官规定或者更多的限制来决定。对每一台机器来说，如果分到的数据量依然很大，比如内存不够或其它问题，可以再用哈希函数把每台机器的流文件拆成更小的文件处理。处理每一个小文件的时候，通过哈希表统计每种词及其词频，哈希表记录建立之后，再遍历哈希表，遍历过程中使用小根堆来选择topk。

找到100亿个URL中重复的URL及搜索词汇的TopK问题相关推荐

找到100亿个URL中重复的URL
分享一个大牛的人工智能教程.零基础!通俗易懂!风趣幽默!希望你也加入到人工智能的队伍中来!请轻击http://www.captainbed.net 把大文件通过哈希函数分配到机器,或者通过哈希函数把大 ...
算法面试，如何在100 亿URL中判断某个URL是否存在
转载自算法面试,如何在100 亿URL中判断某个URL是否存在如果面试官问你,一个网站有 100 亿 url 存在一个黑名单中,每条 url 平均 64 字节.问这个黑名单要怎么存?若此时随便输 ...
5 判断数据是否存在_Trie树实现：100亿URL中判断某个URL是否存在
之前在头条看到一篇<如何在100亿URL中判断某一个URL是否存在>,里面介绍的是使用布隆算法bloomfilter,我们也知道bloomfilter只能保证URL不存在. 在这里介绍一个 ...
Scrapy实现对新浪微博某关键词的爬取以及不同url中重复内容的过滤
工作原因需要爬取微博上相关微博内容以及评论.直接scrapy上手,发现有部分重复的内容出现.(标题重复,内容重复,但是url不重复) 目录 1.scrapy爬取微博内容 2.scrapy爬取微博评论 ...
js获取url中的参数,url中传递中文的时候通过js解码的方式
如果传递的参数是: <a href="${pageContext.request.contextPath}/productdisplay/productDisplay_productD ...
如何在1到100的整数数组中找到缺失的数字
有关编程面试的最常见问题之一就是:编写一个程序,用Java或任何其他语言查找数组中缺少的数字; 这种不仅在小型初创企业中被问到,而且还在谷歌,亚马逊,脸谱,微软等一些最大的技术公司中提出,主要是当他们 ...
字节一面：如何从 100 亿 URL 中找出相同的 URL？
点击关注公众号,Java干货及时送达题目描述给定 a.b 两个文件,各存放 50 亿个 URL,每个 URL 各占 64B,内存限制是 4G.请找出 a.b 两个文件共同的 URL. 解答思路每 ...
如何从 100 亿 URL 中找出相同的 URL？
来源 | https://doocs.github.io/advanced-java/ 题目描述给定 a.b 两个文件,各存放 50 亿个 URL,每个 URL 各占 64B,内存限制是 4G.请找 ...
面试：如何从 100 亿 URL 中找出相同的 URL？
题目描述给定 a.b 两个文件,各存放 50 亿个 URL,每个 URL 各占 64B,内存限制是 4G.请找出 a.b 两个文件共同的 URL. " 推荐一个艿艿写的 6000+ Sta ...

找到100亿个URL中重复的URL及搜索词汇的TopK问题

找到100亿个URL中重复的URL及搜索词汇的TopK问题相关推荐

最新文章

热门文章