最近要去的新项目使用mysql,趁着还没忘记,总结记录以下MongoDB的聚合。

聚合是泛指各种可以处理批量记录并返回计算结果的操作。MongoDB提供了丰富的聚合操作,用于对数据集执行计算操作。在 mongod 实例上执行聚合操作可以大大简化应用的代码,并降低对资源的消耗。

在MongoDB中,像查询之类的聚合操作都是使用 集合 中的文档作为输入,最终的结果会输出一个或者多个文档。

聚合管道

聚合管道是一个基于数据处理管道概念的框架。通过使用一个多阶段的管道,将一组文档转换为最终的聚合结果。(aggregate详细)

聚合管道是映射化简的一个替代方案。而且对于聚合任务来说,聚合管道是一种优选的解决方案,因为映射化简的复杂度可能无法保证。

聚合管道的每个步骤可以使用的内存最多是100MB。如果某个步骤超过了这个限制,MongoDB就会报错了。如果需要处理大量数据,可以使用 allowDiskUse 这个选项,此时管道会把数据写入临时文件。

有的管道阶段可以使用管道表达式作为运算符。管道表达式可以对输入文档做指定的转换。管道表达式使用一个文档结构体,并且可以包含其他的表达式 。

管道表达式只可以操作当前管道中的文档,不能访问其他的文档:表达式操作可以在内存中完成对文档的转换。

一般来说,表达式是无状态的,并且仅在聚合过程中处于计算状态,除了累计操作符表达式。

使用 $group 操作符的累计操作,需要在管道处理文档的过程中维护自己的状态(例如总数、最大值、最小值和相关数据)。

映射化简

映射化简是一种将大量数据转换为有价值的*聚合*结果的数据处理方式。在MongoDB中,使用mapReduce 命令来执行映射化简的操作。

请看下面的映射化简操作:

在这个映射化简操作中,MongoDB对每个输入文档(例如集合中满足查询条件的文档)执行了*map*操作。映射操作输出了键值对结果。对那些有多个值的关键字,MongoDB执行*reduce*操作,收集并压缩了最终的聚合结果。然后MongoDB把结果保存到一个集合中。化简函数还可以把结果输出到*finalize*函数,进一步对聚合结果做处理,当然这步是可选的。

在MongoDB中,所有的映射化简函数都是使用JavaScript编写,并且运行在 mongod 进程中。映射化简操作使用一个集合中文档作为*输入*,并且可以在映射阶段之前执行任意的排序和限定操作。mapReduce 命令可以把结果作为一个文档来返回,也可以把结果写入集合。输入集合和输出集合可以是分片的。

如果选择映射化简操作即时返回结果,这些文档一定要在 BSON文档大小 限制以内,当前这个限制是16MB。

单一用途的聚合

聚合指的是一大类对数据集执行运算的方法,这些方法对输入数据执行特定的步骤从而计算出一个结果。MongoDB提供了一组对数据集执行特定操作的聚合方法。

尽管与聚合管道和映射化简比起来,它们的使用范围有限,但是这些方法的名称很直观的表达了它的功能,非常易于理解使用。

1) 总数

MongoDB可以返回符合查询条件的文档总数。除了 count 命令, mongo 脚本程序中的 count() 方法和 cursor.count() 方法都可以得到文档总数。

例子

现在有一个名为 records 的集合中 只有 下面这些文档:

{ a: 1, b: 0 }
{ a: 1, b: 1 }
{ a: 1, b: 4 }
{ a: 2, b: 2 }

下面的操作会统计集合中的文档个数,并最终返回数字 4:

db.records.count()

下面的操作会统计字段 a 的值是 1 的文档个数,最终返回 3:

db.records.count({a: 1})

2) 去除重复

去除重复 操作会返回查询到的指定字段值不重复的记录。在 mongo 脚本程序中,使用 distinct 命令或者 db.collection.distinct() 方法执行去重。请看下面的去除重复的例子:

例子

现在有一个名为 records 的集合中 只有 下面这些文档:

{ a: 1, b: 0 }
{ a: 1, b: 1 }
{ a: 1, b: 1 }
{ a: 1, b: 4 }
{ a: 2, b: 2 }
{ a: 2, b: 2 }

请看下面使用 db.collection.distinct() 方法对字段 b 进行去除重复的操作:

db.records.distinct("b")

这个操作的结果是:

[ 0, 1, 4, 2 ]

3) 分组

分组 操作会把查询到的文档按照给定的字段值进行分组。分组操作会返回一个文档数组,其中的每个文档包含了一组文档的计算结果。

可以在 mongo 脚本程序中通过 group 命令或者 db.collection.group() 方法来使用分组的功能。

group 命令不能在分片集合上运行。特别需要注意一点, group 操作的结果集大小不能超过16MB。

例子

现在有一个名为 records 的集合,它包含有如下文档:

{ a: 1, count: 4 }
{ a: 1, count: 2 }
{ a: 1, count: 4 }
{ a: 2, count: 3 }
{ a: 2, count: 1 }
{ a: 1, count: 5 }
{ a: 4, count: 4 }

请考虑用 group 命令对集合中的文档进行分组,分组条件是字段 a 值小于 3 ,同时需要对每组的count 字段计数:

db.records.group({key: {a: 1},cond: {a: {$lt: 3}},reduce: function(cur, result) { result.count += cur.count },initial: {count: 0}
})

这次分组操作的结果是:

[{a: 1, count: 15},{a: 2, count: 4}
]

摘录参考:MongoDB中文文档

MongoDB的学习--聚合相关推荐

  1. Mongodb使用学习笔记(二)

    文章目录 Mongodb使用学习笔记(二)之查询篇 1. MongoDB命令学习 (1) MongoDB 查询文档 1.1 全部查询 1.2 单条件查询 1.3 多条件查询 1.3.1 AND拼接多条 ...

  2. mongo PHP aggregate,Mongodb中数据聚合之聚合管道aggregate

    在之前的两篇文章 Mongodb中数据聚合之基本聚合函数count.distinct.group 和 Mongodb中数据聚合之MapReduce 中,我们已经对数据聚合提供了两种实现方式,今天,在这 ...

  3. MongoDB开发学习开天辟地,经典入门

    如果你从来没有接触MongoDB或对MongoDB有一点了解,如果你是C#开发人员,那么你不妨花几分钟看看本文.本文将一步一步带您轻松入门. 阅读目录 一:简介 二:特点 三:下载安装和开启服务器 四 ...

  4. mongodb 日期分组聚合_mongoose聚合aggregate按日期分组计算

    简介 在MongoDB中,聚合(aggregate)主要用于进行处理数据,比如统计求和,求平均数等,并返回计算后的数据结果,这给我们带来了很多便捷之处,因为可以在读取数据的同时进行数据处理. 场景介绍 ...

  5. MongoDB语法学习

    MongoDB语法学习 MongoDB官方文档 mongodb语法有很多,如多列索引,查询时可以统计函数,支持多条件查询,但是目前对于多表的查询是暂不支持的,但是可以通过数据冗余来解决多表查询的问题. ...

  6. mongoDB中的聚合操作

    本文来说下mongoDB中的聚合操作 文章目录 概述 概述 MongoDB 中聚合(aggregate)主要用于处理数据(诸如统计平均值,求和等),并返回计算后的数据结果.有点类似 SQL 语句中的 ...

  7. MongoDB的学习-安装与springboot的整合

    mongoDB的学习: 1.mongodb 安装及使用 mongodb 安装及使用__mongodb安装使用 MongoDB社区下载 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上 ...

  8. 尚硅谷+黑马程序员MongoDB视频学习笔记(一)

    本学习笔记是来源于学习B站上的尚硅谷和黑马的MongoDB教学视频而做的知识总结. 一.数据库(Database) 数据库是按照数据结构来组织.存在和管理数据的仓库.说白了,数据库就是存在数据的仓库. ...

  9. Mongodb使用学习笔记(三)

    文章目录 Mongodb使用学习笔记(三) 1. MongoDB 更新文档 1.1 update() 1.2 save() Mongodb使用学习笔记(三) 1. MongoDB 更新文档 参考:Mo ...

最新文章

  1. iOS中构造函数与析构函数
  2. python官方-Python官方中文文档强势来袭
  3. 【设计模式】模板方法模式 ( 简介 | 适用场景 | 优缺点 | 代码示例 )
  4. UPS不断电割接流程和步骤
  5. Python基础教程:内置类型之生成器
  6. python打印进度条starting...done_python打印进度条-tqdm
  7. ubutun 更换网络源_「ubuntu脚本1」开启ssh替换第三方源开启tab键补齐屏蔽nouveau
  8. python中利用opencv对图片进行缩放
  9. ffmpeg解码H.264视频数据,MFC播放视频
  10. utf8编码 java_Java UTF8编码
  11. Action以外的类中来获得Spring所管理的Service对象
  12. webService教程之cxf框架
  13. 深度学习之稀疏编码小知识
  14. 助力单细胞高通量测序国产替代
  15. 计算机三个人的英语情景对话,求简单的三人英语情景对话对话 购物的老师要求要三人的英语对话 购物的 每人五句左右就行...
  16. ElasticSearch服务(一)
  17. postman如何测试导入任务和导出任务
  18. 机械图样解读——尺寸线及尺寸界线,尺寸标注
  19. Flask开发成语接龙游戏,以后闲了手机玩玩自己写的游戏吧!
  20. CAN通信----(创芯科技)CAN分析仪使用----CANTest安装和驱动安装

热门文章

  1. 如何脱颖而出?成为优秀的人
  2. 一款很好用的页面滚动元素动画插件-AOS.JS
  3. 原生ajax表单交互
  4. 2018CTF大赛学习
  5. C#中的Partial
  6. 接口与object的关系
  7. Chapter 4. 正则表达式验证
  8. 一步一步写算法(之prim算法 中)
  9. 简单的Socket实现web功能
  10. poj4051Chess:搜索