大数据下数据频次计算问题与排序问题

在1000w数据中取出前10个出现次数最多的

这个问题的一般叙述即在大数据集中取出前K个出现次数最多的。
这个是数据频次计算的问题。因为是大数据集，所以单机是处理不了的,需要分布式处理。处理的步骤:

数据分组，比如分m组;
对于单个数据组统计每个数据出现的频次,使用数据结构比如HashMap,TreeMap存储每个数据出现的次数;
从每个组取出k*m个数据，构成一个新的数据集,然后重复步骤2;
根据步骤3计算结果集取前k个即为最终结果。

现在不加证明的将上述步骤简单说明一下：

步骤1，数据分组，原因是数据量过大单机无法承载，所以需要分组；
步骤2，计算每个数据的出现频次，使用TreeMap 结果可以自然进行排序；
步骤3，取出每组的个数是k*m,而不是k。原因是当数据频次分布比较均匀，出现数据错漏的情况。
步骤4，组成一个新的集合，然后重复步骤2，就得到了相应的结果，取出前k个即为结果集。

在1000w数据中取出前10个最大的数据

这个问题的一般叙述即在大数据集中取出前K个最大的数据。
这个是数据排序的问题。对于排序问题解决思路比较简单，处理思路：

将数据分组，比如m组;
建一个长度为K的数组，读取相应数据放在数组的相应的位置上，每次数据的存储都要进行一次重排序；
对于每一个数组分组，使用步骤2重复读取；
最终数据中存储的数据即为结果集;

大数据下数据频次计算问题与排序问题相关推荐

大数据环境下数据科学的知识体系
数据科学概论随着互联网的飞速发展,大数据(Big Data)的概念和技术成为当下流行的领域. 数据科学(Data Science)这一体系也随着大数据的崛起成为讨论热点.在各大招聘网站上," ...
LTE CA下的频点计算
this article is transfer to https://ziyubiti.github.io
【20保研】南京邮电大学关于举办2019 年江苏省研究生“大数据时代下的新型网络计算” 暑期学校的通知...
点击文末的阅读原文或者公众号界面左下角的保研夏令营或者公众号回复"夏令营"是计算机/软件等专业的所有保研夏令营信息集合,会一直更新的. 主办单位:江苏省工学2类研究生教育指导委员会 ...
大数据下的BI新特性
大数据下的BI新特性大数据BI的新需求包括大量化(多个大数据集并行分析).多样化(结构化.半结构化.非结构化).快速化(Velocity)和价值(易用性).而计算分层(流计算.块计算.全局计算).快 ...
大数据下机械智能诊断的机遇与挑战，阅读文献系列(一)
阅读文献系列一论文题目:大数据下机械智能诊断的机遇与挑战 1.大数据时代下的故障诊断的挑战: 2.机械大数据的特性: 3.应该怎么做: 4.现有工作: 5.故障诊断三方面研究: 5.1 信号获取 5 ...
大数据下服装品牌知识挖掘浅析
大数据时代产生了海量的数据,但是数据类型多元异构.网页发布不规范等因素导致数据价值密度低,信息造价昂贵.大数据分析和数据挖掘是基于统计分析学的从数据中获取知识的一种研究方法,在互联网.金融.医疗等多个 ...
易观智库：大数据下的用户分析及用户画像（18页PPT附下载）
大数据下,用户分析的核心是什么? --解决实际问题确定用户分析目的,具体是为了降低成本?增加收入?优化用户体验?提升营销效果?用户针对性管理? 确定目的后开始选择合适的数据,然后搭建模型,最后得出结 ...
图灵指数——学术大数据下的跨领域跨年代学者影响力评估
图灵指数--学术大数据下的跨领域跨年代学者影响力评估姚宇航, 欧俊杰, 李洋, 傅洛伊, 王新兵, 陈贵海上海交通大学电子信息与电气工程学院,上海 200240 摘要:随着学术界规模的扩大,面对领 ...
云计算＆大数据 “下一幕”智能变革之力
2019独角兽企业重金招聘Python工程师标准>>> 2016年的互联网科技领域,云计算.大数据.人工智能成为最热词汇.阿里云"为了无法估算的价值"将中国的计算 ...

大数据下数据频次计算问题与排序问题

在1000w数据中取出前10个出现次数最多的

在1000w数据中取出前10个最大的数据

大数据下数据频次计算问题与排序问题相关推荐

最新文章

热门文章