mapreduce分组统计_mongodb中使用mapreduce进行分组统计

最近在统计某一个时间段的url去重数，由于数据量巨大导致报错，提示：distinct failed: {

"errmsg" : "exception: distinct too big, 16mb cap",

"code" : 17217,

"ok" : 0

} at src/mongo/shell/collection.js:1108

最终通过mapreduce来解决如下：//定义map函数

map=function(){

emit(this.url,{"count":1});

}//定义reduce函数

reduce=function(key,values){

var total=0;

for(var i=0; i

total+=values[i].count;

}

return {count:total}

}//执行mapreduce函数,其中out的值是存储执行结果的集合

db.runCommand({"mapreduce":"visit","map":map,"reduce":reduce,"query":{"vtime":{"$gte":1412611200,"$lte":1413907119}},"out":"test.tmp"});

关于mapreduce的选项解释如下："out":{replace:"collection name"} -- mapreduce输出结果会替换掉原来的collection,collection不存在则创建

"out":{merge:"collection name"} -- 将新老数据进行合并，新的替换旧的，没有的添加进去

"out":{reduce:"collection name"}-- 存在老数据时，在原来的基础上加新的数据(即new value=old value+mapreduce value)

"out":{inline:1} -- 不会创建collection，结果保存在内存里面，只限于结果小于16MB的情况

mapreduce分组统计_mongodb中使用mapreduce进行分组统计相关推荐

oracle关联分组查询,oracle中关联查询、分组查询
高级查询 1.关联查询作用:可以跨越多表查询 --查询出员工的名字和他所在部门的的名字 //古老的写法 select first_name,name from s_emp,s_dept where ...
java 统计字符串中字符个数_java实现统计字符串中字符及子字符串个数的方法示例...
本文实例讲述了java实现统计字符串中字符及子字符串个数的方法.分享给大家供大家参考,具体如下: 这里用java实现统计字符串中的字符(包括数字.大写字母.小写字母以及其他字符)个数,以及字符串的子字 ...
python分组函数_Python中如何按列分组和按自己的函数汇总
让df作为我们来自熊猫的测试数据框:import pandas as pd import numpy as np df = pd.DataFrame({'A' : ['foo', 'bar', 'fo ...
python中如何统计文本中的单词个数_python统计文本文件内单词数量的方法
本文实例讲述了python统计文本文件内单词数量的方法.分享给大家供大家参考.具体实现方法如下: # count lines, sentences, and words of a text file ...
统计字符串中不同字符个数
统计字符串中不同字符个数如何统计字符串中不同字符个数呢,下面这段代码可以实现这个功能.(如有误,请见谅) #include<stdio.h> int main(void) {int i, ...
用python统计水浒传中的高频词汇
用python统计水浒传中的高频词汇 #词频统计.py import jieba excludes = {"两个","一个","只见",&q ...
mapreduce分组统计_Mongodb的分组统计MapReduce
ap-Reduce是一种计算模型,简单的说就是将大批量的工作(数据)分解(MAP)执行,然后再将结果合并成最终结果(REDUCE). MongoDB提供的Map-Reduce非常灵活,对于大规模数据分 ...
使用Mapreduce案例编写用于统计文本中单词出现的次数的案例、mapreduce本地运行等，Combiner使用及其相关的知识，流量统计案例和流量总和以及流量排序案例，自定义Partitioner
工程结构: 在整个案例过程中,代码如下: WordCountMapper的代码如下: package cn.toto.bigdata.mr.wc; import java.io.IOException ...
Hadoop学习笔记—11.MapReduce中的排序和分组
Hadoop学习笔记-11.MapReduce中的排序和分组一.写在之前的 1.1 回顾Map阶段四大步骤首先,我们回顾一下在MapReduce中,排序和分组在哪里被执行: 从上图中可以清楚地看出 ...

mapreduce分组统计_mongodb中使用mapreduce进行分组统计

mapreduce分组统计_mongodb中使用mapreduce进行分组统计相关推荐

最新文章

热门文章