MongoDB知识概括

  • MongoDB相关概念
  • 单机部署
  • 基本常用命令
  • 索引-Index
  • SpirngDataMongoDB集成
  • 副本集
  • 分片集群
  • 安全认证

MongoDB相关概念

业务应用场景：

  • 传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。
  • 解释：“三高”需求：
    ①High performance - 对数据库高并发读写的需求。
    ②Huge Storage - 对海量数据的高效率存储和访问的需求。
    ③High Scalability && High Availability- 对数据库的高可扩展性和高可用性的需求。
  • 而MongoDB可应对“三高”需求。
  • 具体的应用场景如：
    ①社交场景，使用 MongoDB 存储存储用户信息，以及用户发表的朋友圈信息，通过地理位置索引实现附近的人、地点等功能。
    ②游戏场景，使用 MongoDB 存储游戏用户信息，用户的装备、积分等直接以内嵌文档的形式存储，方便查询、高效率存储和访问。
    ③物流场景，使用 MongoDB 存储订单信息，订单状态在运送过程中会不断更新，以 MongoDB 内嵌数组的形式来存储，一次查询就能将订单所有的变更读取出来。
    ④物联网场景，使用 MongoDB 存储所有接入的智能设备信息，以及设备汇报的日志信息，并对这些信息进行多维度的分析。
    ⑤视频直播，使用 MongoDB 存储用户信息、点赞互动信息等。
  • 这些应用场景中，数据操作方面的共同特点是：
    ①数据量大
    ②写入操作频繁（读写都很频繁）
    ③价值较低的数据，对事务性要求不高
  • 对于这样的数据，我们更适合使用MongoDB来实现数据的存储。
  • 什么时候选择MongoDB
    ①在架构选型上，除了上述的三个特点外，如果你还犹豫是否要选择它？可以考虑以下的一些问题：
    <1>应用不需要事务及复杂 join 支持
    <2>新应用，需求会变，数据模型无法确定，想快速迭代开发
    <3>应用需要2000-3000以上的读写QPS（更高也可以）
    <4>应用需要TB甚至 PB 级别数据存储
    <5>应用发展迅速，需要能快速水平扩展
    <6>应用要求存储的数据不丢失
    <7>应用需要99.999%高可用
    <8>应用需要大量的地理位置查询、文本查询
    ②如果上述有1个符合，可以考虑 MongoDB，2个及以上的符合，选择 MongoDB 绝不会后悔。
  • 思考：如果用MySQL呢？
    ①答：相对MySQL，可以以更低的成本解决问题（包括学习、开发、运维等成本）

MongoDB简介：

  • MongoDB是一个开源、高性能、无模式的文档型数据库，当初的设计就是用于简化开发和方便扩展，是NoSQL数据库产品中的一种。是最像关系型数据库（MySQL）的非关系型数据库。
  • 它支持的数据结构非常松散，是一种类似于 JSON 的 格式叫BSON，所以它既可以存储比较复杂的数据类型，又相当的灵活。
  • MongoDB中的记录是一个文档，它是一个由字段和值对（field:value）组成的数据结构。MongoDB文档类似于JSON对象，即一个文档认为就是一个对象。字段的数据类型是字符型，它的值除了使用基本的一些类型外，还可以包括其他文档、普通数组和文档数组。

体系结构：

  • MySQL和MongoDB对比：
SQL术语/概念 MongoDB术语/概念 解释/说明
database database 数据库
table collection 数据库表/集合
row document 数据记录行/文档
column field 数据字段/域
index index 索引
table joins 表连接,MongoDB不支持
嵌入文档 MongoDB通过嵌入式文档来替代多表连接
primary key primary key 主键,MongoDB自动将_id字段设置为主键

数据模型：

  • MongoDB的最小存储单位就是文档(document)对象。文档(document)对象对应于关系型数据库的行。数据在MongoDB中以BSON（Binary-JSON）文档的格式存储在磁盘上。
  • BSON（Binary Serialized Document Format）是一种类json的一种二进制形式的存储格式，简称BinaryJSON。BSON和JSON一样，支持内嵌的文档对象和数组对象，但是BSON有JSON没有的一些数据类型，如Date和BinData类型。
  • BSON采用了类似于 C 语言结构体的名称、对表示方法，支持内嵌的文档对象和数组对象，具有轻量性、可遍历性、高效性的三个特点，可以有效描述非结构化数据和结构化数据。这种格式的优点是灵活性高，但它的缺点是空间利用率不是很理想。
  • Bson中，除了基本的JSON类型：string,integer,boolean,double,null,array和object，mongo还使用了特殊的数据类型。这些类型包括date,object id,binary data,regular expression和code。每一个驱动都以特定语言的方式实现了这些类型，查看你的驱动的文档来获取详 细信息。
  • BSON数据类型参考列表：
数据类型 描述 举例
字符串 UTF-8字符串都可表示为字符串类型的数据 {“x” : “foobar”}
对象id 对象id是文档的12字节的唯一 ID {“X” :ObjectId() }
布尔值 真或者假：true或者false {“x”:true}+
数组 值的集合或者列表可以表示成数组 {“x” ： [“a”, “b”, “c”]}
32位整数 类型不可用。JavaScript仅支持64位浮点数，所以32位整数会被自动转换。 shell是不支持该类型的，shell中默认会转换成64位浮点数
64位整数 不支持这个类型。shell会使用一个特殊的内嵌文档来显示64位整数 shell是不支持该类型的，shell中默认会转换成64位浮点数
64位浮点数 shell中的数字就是这一种类型 {“x”：3.14159，“y”：3}
null 表示空值或者未定义的对象 {“x”:null}
undefined 文档中也可以使用未定义类型 {“x”:undefined}
符号 shell不支持，shell会将数据库中的符号类型的数据自动转换成字符串
正则表达式 文档中可以包含正则表达式，采用JavaScript的正则表达式语法 {“x” ： /foobar/i}
代码 文档中还可以包含JavaScript代码 {“x” ： function() { /* …… */ }}
二进制数据 二进制数据可以由任意字节的串组成，不过shell中无法使用
最大值/最小值 BSON包括一个特殊类型，表示可能的最大值。shell中没有这个类型。
  • 提示：shell默认使用64位浮点型数值。{“x”：3.14}或{“x”：3}。对于整型值，可以使用NumberInt（4字节符号整数）或NumberLong（8字节符号整数），{“x”:NumberInt(“3”)}{“x”:NumberLong(“3”)}

MongoDB主要有如下特点：

  • 高性能：
    ①MongoDB提供高性能的数据持久性。特别是对嵌入式数据模型的支持减少了数据库系统上的I/O活动。
    ②索引支持更快的查询，并且可以包含来自嵌入式文档和数组的键。（文本索引解决搜索的需求、TTL索引解决历史数据自动过期的需求、地
    理位置索引可用于构建各种 O2O 应用）
    ③mmapv1、wiredtiger、mongorocks（rocksdb）、in-memory 等多引擎支持满足各种场景需求。
    ④Gridfs解决文件存储的需求。
  • 高可用性：
    ①MongoDB的复制工具称为副本集（replica set），它可提供自动故障转移和数据冗余。
  • 高扩展性：
    ①MongoDB提供了水平可扩展性作为其核心功能的一部分。
    ②分片将数据分布在一组集群的机器上。（海量数据存储，服务能力水平扩展）
    ③从3.4开始，MongoDB支持基于片键创建数据区域。在一个平衡的集群中，MongoDB将一个区域所覆盖的读写只定向到该区域内的那些片。
  • 丰富的查询支持：
    ①MongoDB支持丰富的查询语言，支持读和写操作(CRUD)，比如数据聚合、文本搜索和地理空间查询等。
  • 其他特点：如无模式（动态模式）、灵活的文档模型。

单机部署

Windows系统中的安装启动：

  • 下载安装包：MongoDB 提供了可用于 32 位和 64 位系统的预编译二进制包，你可以从MongoDB官网下载安装。
  • 解压安装启动：将压缩包解压到一个目录中。在解压目录中，手动建立一个目录用于存放数据文件： data/db，再手动建立一个目录用于存放日志文件：logs/mongo.log。
    ①命令行参数方式启动服务：
    <1>在 bin 目录中打开命令行提示符，输入如下命令：mongod --dbpath=…\data\db
    <2>我们在启动信息中可以看到，mongoDB的默认端口是27017，如果我们想改变默认的启动端口，可以通过–port来指定端口。
    <3>为了方便我们每次启动，可以将安装目录的bin目录设置到环境变量的path中， bin 目录下是一些常用命令，比如 mongod 启动服务用的，mongo 客户端连接服务用的。
    ②配置文件方式启动服务：
    <1>在解压目录中新建 config 文件夹，该文件夹中新建配置文件 mongod.conf 。
    <2>注意：
    1、配置文件中如果使用双引号，比如路径地址，自动会将双引号的内容转义。如果不转义，则会报错：error-parsing-yaml-config-file-yaml-cpp-error-at-line-3-column-15-unknown-escape-character-d。解决：
    1）对 \ 换成 / 或 \\
    2）如果路径中没有空格，则无需加引号。
    2、配置文件中不能以Tab分割字段。解决：
    1）将其转换成空格。
    <3>启动方式：
    1、mongod -f ../config/mongod.conf
    2、mongod --config ../config/mongod.conf
    <4>参数配置：
systemLog: destination: file #The path of the log file to which mongod or mongos should send all diagnostic logging information path: "D:/02_Server/DBServer/mongodb-win32-x86_64-2008plus-ssl-4.0.1/log/mongod.log"   logAppend: true
storage: journal: enabled: true #The directory where the mongod instance stores its data.Default Value is "/data/db". dbPath: "D:/02_Server/DBServer/mongodb-win32-x86_64-2008plus-ssl-4.0.1/data"
net:#bindIp: 127.0.0.1 port: 27017
setParameter: enableLocalhostAuthBypass: false

Shell连接(mongo命令)：

  • 在命令提示符输入以下shell命令即可完成登陆：
mongo 或 mongo --host=127.0.0.1 --port=27017
  • 查看已经有的数据库：
show databases
  • 退出mongodb：
exit
  • 更多参数可以通过帮助查看：
mongo --help
  • 提示： MongoDB javascript shell是一个基于javascript的解释器，故是支持js程序的。

Compass-图形化界面客户端：

  • 到MongoDB官网下载MongoDB Compass：Compass下载地址
  • 如果是下载安装版，则按照步骤安装。
  • 如果是下载加压缩版，直接解压，执行里面的 MongoDBCompassCommunity.exe 文件即可。
  • 在打开的界面中，输入主机地址、端口等相关信息，点击连接。

Linux系统中的安装启动和连接：

  • 目标：在Linux中部署一个单机的MongoDB，作为生产环境下使用。

  • 步骤如下：

<1>先到官网下载压缩包 mongod-linux-x86_64-4.0.10.tgz 。 <2>上传压缩包到Linux中，解压到当前目录：
tar -xvf mongodb-linux-x86_64-4.0.10.tgz<3>移动解压后的文件夹到指定的目录中：
mv mongodb-linux-x86_64-4.0.10 /usr/local/mongodb<4>新建几个目录，分别用来存储数据和日志：
#数据存储目录
mkdir -p /mongodb/single/data/db
#日志存储目录
mkdir -p /mongodb/single/log<5>新建并修改配置文件:
vi /mongodb/single/mongod.conf
配置文件的内容如下：
systemLog: #MongoDB发送所有日志输出的目标指定为文件 # #The path of the log file to which mongod or mongos should send all diagnostic logging information destination: file #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径 path: "/mongodb/single/log/mongod.log" #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。 logAppend: true
storage: #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。 ##The directory where the mongod instance stores its data.Default Value is "/data/db". dbPath: "/mongodb/single/data/db" journal: #启用或禁用持久性日志以确保数据文件保持有效和可恢复。 enabled: true
processManagement: #启用在后台运行mongos或mongod进程的守护进程模式。 fork: true
net:#服务实例绑定的IP，默认是localhost bindIp: localhost,192.168.0.2#bindIp #绑定的端口，默认是27017 port: 27017<6>启动MongoDB服务
注意：如果启动后不是 successfully ，则是启动失败了。原因基本上就是配置文件有问题。
[root@bobohost single]# /usr/local/mongodb/bin/mongod -f /mongodb/single/mongod.conf
about to fork child process, waiting until server is ready for connections.
forked process: 90384
child process started successfully, parent exiting
通过进程来查看服务是否启动了：
[root@bobohost single]# ps -ef |grep mongod root 90384 1 0 8月26 ? 00:02:13
/usr/local/mongdb/bin/mongod -f /mongodb/single/mongod.conf<7>分别使用mongo命令和compass工具来连接测试。
提示：如果远程连接不上，需要配置防火墙放行，或直接关闭linux防火墙
#查看防火墙状态
systemctl status firewalld
#临时关闭防火墙
systemctl stop firewalld
#开机禁止启动防火墙
systemctl disable firewalld<8>停止关闭服务
停止服务的方式有两种：快速关闭和标准关闭，下面依次说明：
（一）快速关闭方法（快速，简单，数据可能会出错）
目标：通过系统的kill命令直接杀死进程：杀完要检查一下，避免有的没有杀掉。
#通过进程编号关闭节点
kill -2 54410
【补充】
如果一旦是因为数据损坏，则需要进行如下操作（了解）：
1）删除lock文件：
rm -f /mongodb/single/data/db/*.lock
2）修复数据：
/usr/local/mongdb/bin/mongod --repair --dbpath=/mongodb/single/data/db
（二）标准的关闭方法（数据不容易出错，但麻烦）：
目标：通过mongo客户端中的shutdownServer命令来关闭服务
主要的操作步骤参考如下：
//客户端登录服务，注意，这里通过localhost登录，如果需要远程登录，必须先登录认证才行。
mongo --port 27017
//#切换到admin库
use admin
//关闭服务
db.shutdownServer()

基本常用命令

数据库操作：

  • 选择和创建数据库的语法格式：
use 数据库名称
  • 查看有权限查看的所有的数据库命令：
show dbs
或
show databases
  • 注意：在 MongoDB 中，集合只有在内容插入后才会创建! 就是说，创建集合(数据表)后要再插入一个文档(记录)，集合才会真正创建。
  • 查看当前正在使用的数据库命令：
db
  • MongoDB 中默认的数据库为 test，如果你没有选择数据库，集合将存放在 test 数据库中。
  • 另外数据库名可以是满足以下条件的任意UTF-8字符串：
    ①不能是空字符串（“”)。
    ②不得含有’ '（空格)、.、$、/、\和\0 (空字符)。
    ③应全部小写。
    ④最多64字节。
  • 有一些数据库名是保留的，可以直接访问这些有特殊作用的数据库：
    ①admin：从权限的角度来看，这是"root"数据库。要是将一个用户添加到这个数据库，这个用户自动继承所有数据库的权限。一些特定的服务器端命令也只能从这个数据库运行，比如列出所有的数据库或者关闭服务器。
    ②local：这个数据永远不会被复制，可以用来存储限于本地单台服务器的任意集合。
    ③config：当Mongo用于分片设置时，config数据库在内部使用，用于保存分片的相关信息。
  • 数据库的删除：
db.dropDatabase()

集合操作：

  • 集合的显式创建（了解）：
db.createCollection(name)

  • 集合的命名规范：
    ①集合名不能是空字符串""。
    ②集合名不能含有\0字符（空字符)，这个字符表示集合名的结尾。
    ③集合名不能以"system."开头，这是为系统集合保留的前缀。
    ④用户创建的集合名字不能含有保留字符。有些驱动程序的确支持在集合名里面包含，这是因为某些系统生成的集合中包含该字符。除非你要访问这种系统创建的集合，否则千万不要在名字里出现$。

  • 集合的隐式创建：
    ①当向一个集合中插入一个文档的时候，如果集合不存在，则会自动创建集合。
    ②提示：通常我们使用隐式创建文档即可。

  • 集合的删除：
    ①返回值：如果成功删除选定集合，则 drop() 方法返回 true，否则返回 false。

db.collection.drop()
或
db.集合.drop()

文档基本CRUD：

  • 文档（document）的数据结构和 JSON 基本一样，所有存储在集合中的数据都是 BSON 格式。
  • 文档的插入：单个文档插入使用insert() 或 save() 方法向集合中插入文档，语法如下：
    ①注意：
    <1>文档中的键/值对是有序的。
    <2>文档中的值不仅可以是在双引号里面的字符串，还可以是其他几种数据类型（甚至可以是整个嵌入的文档)。
    <3>MongoDB区分类型和大小写。
    <4>MongoDB的文档不能有重复的键。
    <5>文档的键是字符串。除了少数例外情况，键可以使用任意UTF-8字符。
    ②文档键命名规范：
    <1>键不能含有\0 (空字符)。这个字符用来表示键的结尾。
    <2>和$有特别的意义，只有在特定环境下才能使用。
    <3>以下划线"_"开头的键是保留的(不是严格要求的)。
    ③插入时：
    <1>comment集合如果不存在，则会隐式创建
    <2>mongo中的数字，默认情况下是double类型，如果要存整型，必须使用函数NumberInt(整型数字)，否则取出来就有问题了。
    <3>插入当前日期使用 new Date()
    <4>插入的数据没有指定 _id ，会自动生成主键值
    <5>如果某字段没值，可以赋值为null，或不写该字段。
    ④批量插入时：
    <1>插入时指定了 _id ，则主键就是该值。
    <2>如果某条数据插入失败，将会终止插入，但已经插入成功的数据不会回滚掉。
    <3>因为批量插入由于数据较多容易出现失败，因此，可以使用try catch进行异常捕捉处理，测试的时候可以不处理。
db.collection.insert( <document or array of documents>, { writeConcern: <document>, ordered: <boolean> }
)
  • 文档的基本查询：查询数据的语法格式如下：
    ①参数为query，类型为document，描述：可选。使用查询运算符指定选择筛选器。若要返回集合中的所有文档，请省略此参数或传递空文档( {} )。
    ②参数为projection，类型为document，描述：可选。指定要在与查询筛选器匹配的文档中返回的字段（投影）。若要返回匹配文档中的所有字段，请省略此参数。
db.collection.find(<query>, [projection])
  • 文档的更新：更新文档的语法：
    ①主要关注前四个参数即可。
    <1>覆盖的修改，直接update
    <2>局部修改，我们需要使用修改器$set来实现
    <3>批量的修改，加上{multi:true}。
    <4>列值增长的修改，可以使用 $inc 运算符来实现。
db.collection.update(query, update, options)
//或
db.collection.update( <query>, <update>, { upsert: <boolean>, multi: <boolean>, writeConcern: <document>, collation: <document>, arrayFilters: [ <filterdocument1>, ... ], hint: <document|string> // Available starting in MongoDB 4.2 }
)
  • 删除文档：删除文档的语法结构：
db.集合名称.remove(条件)

文档的分页查询：

  • 统计查询：统计查询使用count()方法，语法如下：
    ①query参数，类型为document，表示查询选择条件。
    ②options参数，类型为document，可选。用于修改计数的额外选项。
db.collection.count(query, options)
  • 分页列表查询：可以使用limit()方法来读取指定数量的数据，使用skip()方法来跳过指定数量的数据。基本语法如下所示：
db.COLLECTION_NAME.find().limit(NUMBER).skip(NUMBER)
  • 排序查询：sort() 方法对数据进行排序，sort() 方法可以通过参数指定排序的字段，并使用 1 和 -1 来指定排序的方式，其中 1 为升序排列，而 -1 是用于降序排列。语法如下所示：
db.COLLECTION_NAME.find().sort({KEY:1})
或
db.集合名称.find().sort(排序方式)

文档的更多查询：

  • 正则的复杂条件查询：MongoDB的模糊查询是通过正则表达式的方式实现的。
    ①提示：正则表达式是js的语法，直接量的写法。
    ②格式为：
db.collection.find({field:/正则表达式/})
或
db.集合.find({字段:/正则表达式/})
  • 比较查询：<, <=, >, >= 这个操作符也是很常用的
    ① $gt：大于
    ② $lt：小于
    ③$gte：大于等于
    ④$lte：小于等于
    ⑤ $ne：不等于
  • 包含查询：包含使用$in操作符。
  • 条件连接查询：
    ①我们如果需要查询同时满足两个以上条件，需要使用$and操作符将条件进行关联。（相当于SQL的and）
    ②如果两个以上条件之间是或者的关系，我们使用$or 操作符进行关联
$and:[ { },{ },{ } ]$or:[ { },{ },{ } ]

常用命令小结：

选择切换数据库：use articledb
插入数据：db.comment.insert({bson数据})
查询所有数据：db.comment.find();
条件查询数据：db.comment.find({条件})
查询符合条件的第一条记录：db.comment.findOne({条件})
查询符合条件的前几条记录：db.comment.find({条件}).limit(条数)
查询符合条件的跳过的记录：db.comment.find({条件}).skip(条数)
修改数据：db.comment.update({条件},{修改后的数据}) 或db.comment.update({条件},{$set:{要修改部分的字段:数据})
修改数据并自增某字段值：db.comment.update({条件},{$inc:{自增的字段:步进值}})
删除数据：db.comment.remove({条件})
统计查询：db.comment.count({条件})
模糊查询：db.comment.find({字段名:/正则表达式/})
条件比较运算：db.comment.find({字段名:{$gt:值}})
包含查询：db.comment.find({字段名:{$in:[值1，值2]}})或db.comment.find({字段名:{$nin:[值1，值2]}})
条件连接查询：db.comment.find({$and:[{条件1},{条件2}]})或db.comment.find({$or:[{条件1},{条件2}]})

索引-Index

概述：

  • 索引支持在MongoDB中高效地执行查询。如果没有索引，MongoDB必须执行全集合扫描，即扫描集合中的每个文档，以选择与查询语句匹配的文档。这种扫描全集合的查询效率是非常低的，特别在处理大量的数据时，查询可以要花费几十秒甚至几分钟，这对网站的性能是非常致命的。
  • 如果查询存在适当的索引，MongoDB可以使用该索引限制必须检查的文档数。
  • 索引是特殊的数据结构，它以易于遍历的形式存储集合数据集的一小部分。索引存储特定字段或一组字段的值，按字段值排序。索引项的排序支持有效的相等匹配和基于范围的查询操作。此外，MongoDB还可以使用索引中的排序返回排序结果。

索引的类型：

  • 单字段索引：
    ①MongoDB支持在文档的单个字段上创建用户定义的升序/降序索引，称为单字段索引（Single Field Index）。
    ②对于单个字段索引和排序操作，索引键的排序顺序（即升序或降序）并不重要，因为MongoDB可以在任何方向上遍历索引。
  • 复合索引：
    ①MongoDB还支持多个字段的用户定义索引，即复合索引（Compound Index）。
    ②复合索引中列出的字段顺序具有重要意义。例如，如果复合索引由 { userid: 1, score: -1 } 组成，则索引首先按userid正序排序，然后在每个userid的值内，再在按score倒序排序。
  • 其他索引：地理空间索引（Geospatial Index）、文本索引（Text Indexes）、哈希索引（Hashed Indexes）。
    ①地理空间索引（Geospatial Index）：为了支持对地理空间坐标数据的有效查询，MongoDB提供了两种特殊的索引：返回结果时使用平面几何的二维索引和返回结果时使用球面几何的二维球面索引。
    ②文本索引（Text Indexes）：MongoDB提供了一种文本索引类型，支持在集合中搜索字符串内容。这些文本索引不存储特定于语言的停止词（例如“the”、“a”、“or”），而将集合中的词作为词干，只存储根词。
    ③哈希索引（Hashed Indexes）：为了支持基于散列的分片，MongoDB提供了散列索引类型，它对字段值的散列进行索引。这些索引在其范围内的值分布更加随机，但只支持相等匹配，不支持基于范围的查询。

索引的管理操作：

  • 默认_id索引：
    ①MongoDB在创建集合的过程中，在 _id 字段上创建一个唯一的索引，默认名字为 _id_ ，该索引可防止客户端插入两个具有相同值的文档，您不能在_id字段上删除此索引。
    ②注意：该索引是唯一索引，因此值不能重复，即 _id 值不能重复的。在分片集群中，通常使用 _id 作为片键。
  • 索引的查看：返回一个集合中的所有索引的数组。语法：
db.collection.getIndexes()
  • 索引的创建：在集合上创建索引。语法：
db.collection.createIndex(keys, options)

①参数：

Parameter Type Description
keys document 包含字段和值对的文档，其中字段是索引键，值描述该字段的索引类型。对于字段上的升序索引，请指定值1；对于降序索引，请指定值-1。比如： {字段:1或-1} ，其中1 为指定按升序创建索引，如果你想按降序来创建索引指定为 -1 即可。另外，MongoDB支持几种不同的索引类型，包括文本、地理空间和哈希索引。
options document 可选。包含一组控制索引创建的选项的文档。有关详细信息，请参见选项详情列表。
②options（更多选项）列表：
Parameter Type Description
-------- ----- -----
background Boolean 建索引过程会阻塞其它数据库操作，background可指定以后台方式创建索引，即增加"background" 可选参数。 “background” 默认值为false。
unique Boolean 建立的索引是否唯一。指定为true创建唯一索引。默认值为false.
name string 索引的名称。如果未指定，MongoDB的通过连接索引的字段名和排序顺序生成一个索引名称。
dropDups Boolean 3.0+版本已废弃。在建立唯一索引时是否删除重复记录,指定 true 创建唯一索引。默认值为false.
sparse Boolean 对文档中不存在的字段数据不启用索引；这个参数需要特别注意，如果设置为true的话，在索引字段中不会查询出不包含对应字段的文档.。默认值为 false.
expireAfterSeconds integer 指定一个以秒为单位的数值，完成 TTL设定，设定集合的生存时间。
v indexversion 索引的版本号。默认的索引版本取决于mongod创建索引时运行的版本。
weights document 索引权重值，数值在 1 到 99,999 之间，表示该索引相对于其他索引字段的得分权重。
default_language string 对于文本索引，该参数决定了停用词及词干和词器的规则的列表。 默认为英语
language_override string 对于文本索引，该参数指定了包含在文档中的字段名，语言覆盖默认的language，默认值为language.
  • 索引的移除：可以移除指定的索引，或移除所有索引。语法：
    ①参数：index，类型为string or document。描述：指定要删除的索引。可以通过索引名称或索引规范文档指定索引。若要删除文本索引，请指定索引名称。
    ②提示： _id 的字段的索引是无法删除的，只能删除非 _id 字段的索引。
一、指定索引的移除
db.collection.dropIndex(index)二、所有索引的移除
db.collection.dropIndexes()

索引的使用：

  • 执行计划：分析查询性能（Analyze Query Performance）通常使用执行计划（解释计划、Explain Plan）来查看查询的情况，如查询耗费的时间、是否基于索引查询等。那么通常我们想知道建立的索引是否有效，效果如何，都需要通过执行计划查看。语法：
    ①关键点看： “stage” : “COLLSCAN”, 表示全集合扫描。stage" : “IXSCAN” ,基于索引的扫描。
db.collection.find(query,options).explain(options)
  • 涵盖的查询：当查询条件和查询的投影仅包含索引字段时，MongoDB直接从索引返回结果，而不扫描任何文档或将文档带入内存。 这些覆盖的查询可以非常有效。

SpirngDataMongoDB集成

mongodb-driver简介：

  • mongodb-driver是mongo官方推出的java连接mongoDB的驱动包，相当于JDBC驱动。

SpringDataMongoDB简介

  • SpringData家族成员之一，用于操作MongoDB的持久层框架，封装了底层的mongodb-driver。
  • pom.xml：
<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-mongodb</artifactId>
</dependency>
  • application.yml：
spring: #数据源配置 data: mongodb: # 主机地址 host: 192.168.40.141 # 数据库 database: articledb # 默认端口是27017 port: 27017 #也可以使用uri连接 #uri: mongodb://192.168.40.134:27017/articledb
  • 实体类：
//把一个java类声明为mongodb的文档，可以通过collection参数指定这个类对应的文档。 //@Document(collection="mongodb 对应 collection 名")
// 若未加 @Document ，该 bean save 到 mongo 的 comment collection
// 若添加 @Document ，则 save 到 comment collection
@Document(collection="comment")//可以省略，如果省略，则默认使用类名小写映射集合
//复合索引
// @CompoundIndex( def = "{'userid': 1, 'nickname': -1}")
public class Comment implements Serializable { //主键标识，该属性的值会自动对应mongodb的主键字段"_id"，如果该属性名就叫“id”,则该注解可以省略，否则必须写 @Id private String id;//主键 //该属性对应mongodb的字段的名字，如果一致，则无需该注解 @Field("content")private String content;//吐槽内容private Date publishtime;//发布日期 //添加了一个单字段的索引 @Indexed private String userid;//发布人ID private String nickname;//昵称 private LocalDateTime createdatetime;//评论的日期时间 private Integer likenum;//点赞数 private Integer replynum;//回复数 private String state;//状态 private String parentid;//上级ID private String articleid; //getter and setter.....
  • 持久层：
//评论的持久层接口
public interface CommentRepository extends MongoRepository<Comment,String> { }
  • MongoTemplate

副本集

副本集简介：

  • MongoDB中的副本集（Replica Set）是一组维护相同数据集的mongod服务。 副本集可提供冗余和高可用性，是所有生产部署的基础。 也可以说，副本集类似于有自动故障恢复功能的主从集群。通俗的讲就是用多台机器进行同一数据的异步同步，从而使多台机器拥有同一数据的多个副本，并且当主库当掉时在不需要用户干预的情况下自动切换其他备份服务器做主库。而且还可以利用副本服务器做只读服务器，实现读写分离，提高负载。
    ①冗余和数据可用性：
    <1>复制提供冗余并提高数据可用性。 通过在不同数据库服务器上提供多个数据副本，复制可提供一定级别的容错功能，以防止丢失单个数据库服务器。
    <2>在某些情况下，复制可以提供增加的读取性能，因为客户端可以将读取操作发送到不同的服务上， 在不同数据中心维护数据副本可以增加分布式应用程序的数据位置和可用性。 您还可以为专用目的维护其他副本，例如灾难恢复，报告或备份。
    ②MongoDB中的复制：
    <1>副本集是一组维护相同数据集的mongod实例。 副本集包含多个数据承载节点和可选的一个仲裁节点。在承载数据的节点中，一个且仅一个成员被视为主节点，而其他节点被视为次要（从）节点。
    <2>主节点接收所有写操作。 副本集只能有一个主要能够确认具有{w：“most”}写入关注的写入; 虽然在某些情况下，另一个mongod实例可能暂时认为自己也是主要的。主要记录其操作日志中的数据集的所有更改，即oplog。
    <3>辅助(副本)节点复制主节点的oplog并将操作应用于其数据集，以使辅助节点的数据集反映主节点的数据集。 如果主要人员不在，则符合条件的中学将举行选举以选出新的主要人员。

    ③主从复制和副本集区别：
    <1>主从集群和副本集最大的区别就是副本集没有固定的“主节点”；整个集群会选出一个“主节点”，当其挂掉后，又在剩下的从节点中选中其他节点为“主节点”，副本集总有一个活跃点(主、primary)和一个或多个备份节点(从、secondary)。

副本集的三个角色：

  • 副本集有两种类型三种角色
  • 两种类型：
    ①主节点（Primary）类型：数据操作的主要连接点，可读写。
    ②次要（辅助、从）节点（Secondaries）类型：数据冗余备份节点，可以读或选举。
  • 三种角色：
    ①主要成员（Primary）：主要接收所有写操作。就是主节点。
    ②副本成员（Replicate）：从主节点通过复制操作以维护相同的数据集，即备份数据，不可写操作，但可以读操作（但需要配置）。是默认的一种从节点类型。
    ③仲裁者（Arbiter）：不保留任何数据的副本，只具有投票选举作用。当然也可以将仲裁服务器维护为副本集的一部分，即副本成员同时也可以是仲裁者。也是一种从节点类型。
  • 关于仲裁者的额外说明：
    ①您可以将额外的mongod实例添加到副本集作为仲裁者。 仲裁者不维护数据集。 仲裁者的目的是通过响应其他副本集成员的心跳和选举请求来维护副本集中的仲裁。 因为它们不存储数据集，所以仲裁器可以是提供副本集仲裁功能的好方法，其资源成本比具有数据集的全功能副本集成员更便宜。
    ②如果您的副本集具有偶数个成员，请添加仲裁者以获得主要选举中的“大多数”投票。 仲裁者不需要专用硬件。
    ③仲裁者将永远是仲裁者，而主要人员可能会退出并成为次要人员，而次要人员可能成为选举期间的主要人员。
    ④如果你的副本+主节点的个数是偶数，建议加一个仲裁者，形成奇数，容易满足大多数的投票。
    ⑤如果你的副本+主节点的个数是奇数，可以不加仲裁者。

副本集架构目标：

  • 一主一副本一仲裁：

主节点的选举原则：

  • MongoDB在副本集中，会自动进行主节点的选举，主节点选举的触发条件：
    ①主节点故障
    ②主节点网络不可达（默认心跳信息为10秒）
    ③人工干预（rs.stepDown(600)）
  • 一旦触发选举，就要根据一定规则来选主节点。
  • 选举规则是根据票数来决定谁获胜：
    ①票数最高，且获得了“大多数”成员的投票支持的节点获胜。“大多数”的定义为：假设复制集内投票成员数量为N，则大多数为 N/2 + 1。例如：3个投票成员，则大多数的值是2。当复制集内存活成员数量不足大多数时，整个复制集将无法选举出Primary，复制集将无法提供写服务，处于只读状态。
    ②若票数相同，且都获得了“大多数”成员的投票支持的，数据新的节点获胜。数据的新旧是通过操作日志oplog来对比的。

分片集群

分片概念：

  • 分片（sharding）是一种跨多台机器分布数据的方法， MongoDB使用分片来支持具有非常大的数据集 和高吞吐量操作的部署。
  • 换句话说：分片(sharding)是指将数据拆分，将其分散存在不同的机器上的过程。有时也用分区
    (partitioning)来表示这个概念。将数据分散到不同的机器上，不需要功能强大的大型计算机就可以储存 更多的数据，处理更多的负载。
  • 具有大型数据集或高吞吐量应用程序的数据库系统可以会挑战单个服务器的容量。例如，高查询率会耗尽服务器的CPU容量。工作集大小大于系统的RAM会强调磁盘驱动器的I / O容量。
  • 有两种解决系统增长的方法：垂直扩展和水平扩展。
    ①垂直扩展意味着增加单个服务器的容量，例如使用更强大的CPU，添加更多RAM或增加存储空间量。可用技术的局限性可能会限制单个机器对于给定工作负载而言足够强大。此外，基于云的提供商基于可用的硬件配置具有硬性上限。结果，垂直缩放有实际的最大值。
    ②水平扩展意味着划分系统数据集并加载多个服务器，添加其他服务器以根据需要增加容量。虽然单个机器的总体速度或容量可能不高，但每台机器处理整个工作负载的子集，可能提供比单个高速大容量服务器更高的效率。扩展部署容量只需要根据需要添加额外的服务器，这可能比单个机器的高端硬件的总体成本更低。权衡是基础架构和部署维护的复杂性增加。
    ③MongoDB支持通过分片进行水平扩展。

分片集群包含的组件：

  • MongoDB分片群集包含以下组件：
    ①分片（存储）：每个分片包含分片数据的子集。 每个分片都可以部署为副本集。
    ②mongos（路由）：mongos充当查询路由器，在客户端应用程序和分片集群之间提供接口。
    ③config servers（“调度”的配置）：配置服务器存储群集的元数据和配置设置。 从MongoDB 3.4开
    始，必须将配置服务器部署为副本集（CSRS）。
  • 下图描述了分片集群中组件的交互：
    ①MongoDB在集合级别对数据进行分片，将集合数据分布在集群中的分片上。

分片集群架构目标：

  • 两个分片节点副本集（3+3）+一个配置节点副本集（3）+两个路由节点（2），共11个服务节点。

安全认证

MongoDB的用户和角色权限简介：

  • 默认情况下，MongoDB实例启动运行时是没有启用用户访问权限控制的，也就是说，在实例本机服务器上都可以随意连接到实例进行各种操作，MongoDB不会对连接客户端进行用户验证，这是非常危险 的。
  • mongodb官网上说，为了能保障mongodb的安全可以做以下几个步骤：
    ①使用新的端口，默认的27017端口如果一旦知道了ip就能连接上，不太安全。
    ②设置mongodb的网络环境，最好将mongodb部署到公司服务器内网，这样外网是访问不到的。公
    司内部访问使用vpn等。
    ③开启安全认证。认证要同时设置服务器之间的内部认证方式，同时要设置客户端连接到集群的账号密码认证方式。
  • 为了强制开启用户访问控制(用户验证)，则需要在MongoDB实例启动时使用选项 --auth 或在指定启动 配置文件中添加选项auth=true。

在开始之前需要了解一下概念：

  • 启用访问控制：
    ①MongoDB使用的是基于角色的访问控制(Role-Based Access Control,RBAC)来管理用户对实例的访问。通过对用户授予一个或多个角色来控制用户访问数据库资源的权限和数据库操作的权限，在对用户分配 角色之前，用户无法访问实例。
    ②在实例启动时添加选项 --auth 或指定启动配置文件中添加选项 auth=true 。
  • 角色：
    ①在MongoDB中通过角色对用户授予相应数据库资源的操作权限，每个角色当中的权限可以显式指定，也可以通过继承其他角色的权限，或者两都都存在的权限。
  • 权限：
    ①权限由指定的数据库资源(resource)以及允许在指定资源上进行的操作(action)组成。
    <1>资源(resource)包括：数据库、集合、部分集合和集群；
    <2>操作(action)包括：对资源进行的增、删、改、查(CRUD)操作。
  • 在角色定义时可以包含一个或多个已存在的角色，新创建的角色会继承包含的角色所有的权限。在同一个数据库中，新创建角色可以继承其他角色的权限，在 admin 数据库中创建的角色可以继承在其它任意 数据库中角色的权限。

常用的内置角色：

  • 数据库用户角色：read、readWrite;
  • 所有数据库用户角色：readAnyDatabase、readWriteAnyDatabase、userAdminAnyDatabase、dbAdminAnyDatabase
  • 数据库管理角色：dbAdmin、dbOwner、userAdmin；
  • 集群管理角色：clusterAdmin、clusterManager、clusterMonitor、hostManager；
  • 备份恢复角色：backup、restore；
  • 超级用户角色：root
  • 内部角色：system
  • 角色说明：
角色 权限描述
read 可以读取指定数据库中任何数据。
readWrite 可以读写指定数据库中任何数据，包括创建、重命名、删除集合。
readAnyDatabase 可以读取所有数据库中任何数据(除了数据库config和local之外)。
readWriteAnyDatabase 可以读写所有数据库中任何数据(除了数据库config和local之外)。
userAdminAnyDatabase 可以在指定数据库创建和修改用户(除了数据库config和local之外)。
dbAdminAnyDatabase 可以读取任何数据库以及对数据库进行清理、修改、压缩、获取统计信息、执行检查等操作(除了数据库config和local之外)。
dbAdmin 可以读取指定数据库以及对数据库进行清理、修改、压缩、获取统计信息、执行检查等操作。
userAdmin 可以在指定数据库创建和修改用户。
clusterAdmin 可以对整个集群或数据库系统进行管理操作。
backup 备份MongoDB数据最小的权限。
restore 从备份文件中还原恢复MongoDB数据(除了system.profile集合)的权限。
root 超级账号，超级权限

MongoDB知识概括相关推荐

  1. JavaEE与云服务知识概括

    JavaEE与云服务知识概括 文件.块.对象存储 IaaS.SaaS 和 PaaS IDaaS 中台 服务器.域名.端口.备案 低代码与引擎 java沙箱 私有化和公有化部署 LICENSE与LICE ...

  2. 游戏开发、安卓、IOS知识概括

    游戏开发与安卓知识概括 游戏开发 安卓 IOS 游戏开发 简述: 使用unreal引擎(虚幻引擎)开发则使用c++语言编程. 使用unity引擎开发则使用c#语言编程. 因此第一步需要将c++或者c# ...

  3. 编译、汇编、翻译原理知识概括

    编译.汇编.翻译原理知识概括 机器语言,汇编语言,高级语言 翻译.汇编.编译.解释 编译程序 机器语言,汇编语言,高级语言 简述: 高级语言和汇编语言都必须转化成机器语言才可以被计算机执行. 机器语言 ...

  4. Servlet知识概括详解

    Servlet知识概括 Servlet介绍 ServletConfig与ServletContext HTTP协议 HttpServletRequest类 HttpServletResponse类 w ...

  5. nexus私服知识概括

    nexus私服知识概括 nexus私服简介 Nexus仓库分类 nexus注意点 nexus总结 nexus私服简介 私服: 私服也是远程仓库中的一种,我们为什么需要私服呢? 如果我们一个团队中有几百 ...

  6. Ant构建工具知识概括

    Ant构建工具知识概括题 构建工具对比 Ant简介 构建工具对比 Maven和Ant对比: 相同点:都是项目构建管理工具. 不同点有: ①Maven约定了目录结构,而Ant没有. ②Maven是申明式 ...

  7. Spring Security OAuth2.0认证授权知识概括

    Spring Security OAuth2.0认证授权知识概括 安全框架基本概念 基于Session的认证方式 Spring Security简介 SpringSecurity详解 分布式系统认证方 ...

  8. SpringCloud知识概括

    SpringCloud知识概括 SpringCloud简介 Eureka Zookeeper Consul Ribbon OpenFeign Hystrix Gateway Config Bus St ...

  9. 前端体系结构知识概括

    前端体系结构知识概括 前端体系 三大框架 CSS HTML JavaScript AJAX axios UI 组件 Node.JS MVMM 前端体系 前端体系简介: 前端开发的核心是HTML + C ...

最新文章

  1. 常见的web漏洞及其防范（转）
  2. mysql数据库表删了重建error_数据库内核月报 － 2015 / 09-MySQL · 捉虫动态 · 建表过程中crash造成重建表失败-阿里云开发者社区...
  3. Bing地图REST服务
  4. spring-security-学习笔记-01-基本概念
  5. win7 linux双系统win7启动不了怎么办,双系统windows打不开怎么办|苹果双系统win7打不开怎么解决|mac双系统打不开解决方法－系统城...
  6. aide入侵检测工具与crontab
  7. 一道考查request导致的安全性问题的ctf题
  8. 你需要的是持续的服务改进 1
  9. dbscan论文_重点关注！我校论文被CCF A类人工智能国际顶级学术会议IJCAI录用
  10. NDK-r17c编译FFmpeg4.3(支持硬编解码与neon)(七)
  11. Java期末考试编程题复习
  12. android studio 顶部菜单栏消失了如何恢复
  13. 英文论文检索数据库以及英文文献下载
  14. Parabola 抛物线-简单公式实现
  15. 算法设计与分析：分治思想 - 入门
  16. 5G NR PDCP协议（二）
  17. 短时傅里叶变换（STFT）实例
  18. 简单的java程序代码？
  19. windows无法打开添加打印机_如何删除打印机
  20. windows 10 输入法如何关掉繁体切换

热门文章

  1. 应用时间序列分析--有季节效应的非平稳序列分析-ARIMA乘法模型-R语言
  2. 安卓安装kali教程
  3. 直播礼物特效-网易云直播礼物分析
  4. pdf 密码去除密码限制
  5. 案例八：3月25日前台下单报错服务器开小差
  6. MySQL批量更新数据（10w数据不到10秒更新成功）
  7. 苹果留不住了？库克从北京回去后，果链加速撤离带走百万岗位
  8. GandCrabV2.0病毒分析记录
  9. Ep_MySQL基础-存储引擎
  10. tkMybatis使用