MongoDB 学习笔记八复制、分片、备份与恢复、监控

MongoDB复制（副本集）
- 什么是复制？
- MongoDB 复制原理
- MongoDB 副本集设置
- 副本集添加成员
MongoDB 分片
- 分片
- 为什么使用分片
- MongoDB 分片
- 分片实例
MongoDB 备份（mongodump）与恢复（mongorestore）
- MongoDB 数据备份
- MongoDB 数据恢复
MongoDB 监控
- mongostat 命令
- mongotop 命令

MongoDB复制（副本集）

MongoDB复制是将数据同步在多个服务器的过程。

复制提供了数据的冗余备份，并在多个服务器上存储数据副本，提高了数据的可用性，并可以保证数据的安全性。

复制还允许您从硬件故障和服务中断中恢复数据。

什么是复制？

保障数据的安全性
数据高可用性（24*7）
灾难恢复
无需停机维护（如备份、重建索引、压缩）
分布式读取数据

MongoDB 复制原理

MongoDB 的复制至少需要两个节点，其中一个是主节点，负责处理客户端请求，其余的都是从节点，负责复制主节点上的数据。

MongoDB 各个节点常见的搭配方式为：一主一从、一主多从。

主节点记录在其上的所有操作 oplog，从节点定期轮询主节点获取这些操作，然后对自己的数据副本执行这些操作，从而保证从节点的数据与主节点一致。

MongoDB 复制结构如图所示：

以上结构图中，客户端从主节点读取数据，在客户端写入数据到主节点时，主节点与从节点进行数据交互（保障数据的一致性）

副本集特征：

N个节点的集群
任何节点可作为主节点
所有写入凑走都在主节点上
自动故障转移
自动恢复

MongoDB 副本集设置

现在我们通过指定 --replSet 选项来启动 MongoDB。-- replSet 基本语法格式如下：

mongod --port "PORT" --dbpath "YOUR_DB_DATA_PATH" --replSet "REPLICA_SET_INSTANCE_NAME"

实例

mongod --port 27017 --dbpath "D:\set up\mongodb\data" --replSet rs0

以上实例会启动一个名为 rs0 的 MongoDB实例，其端口为 27017.

启动后打开命令提示框并连接上 MongoDB 服务。

在 MongoDB 客户端使用命令 rs.initate（）来启动一个新的副本集。

我们可以使用 rs.conf 来查看副本集的配置

查看副本集状态使用 rs.status（）命令

副本集添加成员

添加副本集的成员，我么粗腰使用多台服务器来启动 MongoDB服务。进入MongoDB客户端，并使用 rs.add（）方法来添加副本集的成员。

语法

rs.add（）命令基本语法格式如下：

>rs.add(HOST_NAME:PORT)

实例

假设你已经启动了一个名为 mongod1.net，端口为 27017 的 MongoDB 服务，在客户端命令窗口使用 rs.add（）命令将其添加到副本集中，命令如下所示：

>rs.add("mongod1.net:27017")
>

MongoDB 中你只能通过主节点将 MongoDB服务添加到副本集中，判断当前运行的 MongoDB 服务是否为主节点可以使用命令 db.isMaster（）。

MongoDB的副本集与我们常见的主从有所不同，助兴在主机宕机后所有服务将停止，而副本集在主机宕机后，副本会接管主节点称为主节点，不会出现宕机的情况。

MongoDB 分片

分片

在 MongoDB 里面存在另一种集群，就是分片技术，可以满足 MongoDB数据量大量增长的需求。

当 MongoDB 存储海量的数据时，一台机器可能不足以存储数据，也可能不足以提供可接受的读写吞吐量。这时，我们就可以通过在多台机器行分割数据，使得数据库系统能存储和处理更多的数据。

为什么使用分片

复制所有的写入操作到主节点
延迟的敏感数据会在主节点查询
单个副本集限制在12个节点
党请求来个巨大时会出现内存不足。
本地磁盘不足
垂直货站价格昂贵

MongoDB 分片

下图展示了在 MongoDB 中使用分片集群结构分布：

上图中主要有如下所述的三个主要组件：

Shard：
用于存储实际的数据块，实际生产环境中一个 shard server角色可由几台机器组个 replica set 承担，放置主机单点故障
Config Server：
mongod 实例，存储了整个 ClusterMetadata，其中包括 chunk 信息。
Query Routers：
前端路由，客户端由此接入，且让整个集群看上去像单一数据库，前端应用可以透明使用。

分片实例

分片结构端口分布如下：

Shard Server 1：27020
Shard Server 2：27021
Shard Server 3：27022
Shard Server 4：27023
Config Server ：27100
Route Process：40000

步骤一：启动 Shard Server

[root@100 /]# mkdir -p /www/mongoDB/shard/s0
[root@100 /]# mkdir -p /www/mongoDB/shard/s1
[root@100 /]# mkdir -p /www/mongoDB/shard/s2
[root@100 /]# mkdir -p /www/mongoDB/shard/s3
[root@100 /]# mkdir -p /www/mongoDB/shard/log
[root@100 /]# /usr/local/mongoDB/bin/mongod --port 27020 --dbpath=/www/mongoDB/shard/s0 --logpath=/www/mongoDB/shard/log/s0.log --logappend --fork
....
[root@100 /]# /usr/local/mongoDB/bin/mongod --port 27023 --dbpath=/www/mongoDB/shard/s3 --logpath=/www/mongoDB/shard/log/s3.log --logappend --fork

步骤二：启动 Config Server

[root@100 /]# mkdir -p /www/mongoDB/shard/config
[root@100 /]# /usr/local/mongoDB/bin/mongod --port 27100 --dbpath=/www/mongoDB/shard/config --logpath=/www/mongoDB/shard/log/config.log --logappend --fork

注意：这里我们完全可以向启动普通 MongoDB 服务一样启动，不需要添加 -shardsvr 和 configsvr 参数。因为这两个参数的作用就是改变启动端口的，所以我们自行指定了端口就可以。

步骤三：启动 Route Process

/usr/local/mongoDB/bin/mongos --port 40000 --configdb localhost:27100 --fork --logpath=/www/mongoDB/shard/log/route.log --chunkSize 500

mogos 启动参数中，chunkSize 这一项是用来指定 chunk 的大小的，单位是 MB，默认大小为200MB。

步骤四：配置 Sharding

接下来，我们使用 MongoDB Shell 登录到 mongos，添加 Shard 节点

[root@100 shard]# /usr/local/mongoDB/bin/mongo admin --port 40000
MongoDB shell version: 2.0.7
connecting to: 127.0.0.1:40000/admin
mongos> db.runCommand({ addshard:"localhost:27020" })
{ "shardAdded" : "shard0000", "ok" : 1 }
......
mongos> db.runCommand({ addshard:"localhost:27029" })
{ "shardAdded" : "shard0009", "ok" : 1 }
mongos> db.runCommand({ enablesharding:"test" }) #设置分片存储的数据库
{ "ok" : 1 }
mongos> db.runCommand({ shardcollection: "test.log", key: { id:1,time:1}})
{ "collectionsharded" : "test.log", "ok" : 1 }

步骤五：程序代码内无需太大更改，直接按照连接普通的 mongo 数据库那样，将数据库连接入接口 40000

1.创建 Sharding 复制集 rs0

# mkdir /data/log
# mkdir /data/db1
# nohup mongod --port 27020 --dbpath=/data/db1 --logpath=/data/log/rs0-1.log --logappend --fork --shardsvr --replSet=rs0 &# mkdir /data/db2
# nohup mongod --port 27021 --dbpath=/data/db2 --logpath=/data/log/rs0-2.log --logappend --fork --shardsvr --replSet=rs0 &

1.1复制集 rs0 配置

# mongo localhost:27030
> rs.initiate({_id: 'rs0', members: [{_id: 0, host: 'localhost:27020 '}, {_id: 1, host: 'localhost:27021 '}]})
> rs.isMaster() #查看主从关系

2.创建 Sharding 复制集 rs1

# mkdir /data/db3
# nohup mongod --port 27030 --dbpath=/data/db3 --logpath=/data/log/rs1-1.log --logappend --fork --shardsvr --replSet=rs1 &
# mkdir /data/db4
# nohup mongod --port 27031 --dbpath=/data/db4 --logpath=/data/log/rs1-2.log --logappend --fork --shardsvr --replSet=rs1 &

2.1.复制集rs1配置

# mongo localhost:27030
> rs.initiate({_id: 'rs1', members: [{_id: 0, host: 'localhost:27030'}, {_id: 1, host: 'localhost:27031'}]})
> rs.isMaster() #查看主从关系

3.创建 Config 复制集 conf

# mkdir /data/conf1
# nohup mongod --port 27100 --dbpath=/data/conf1 --logpath=/data/log/conf-1.log --logappend --fork --configsvr --replSet=conf &
# mkdir /data/conf2
# nohup mongod --port 27101 --dbpath=/data/conf2 --logpath=/data/log/conf-2.log --logappend --fork --configsvr --replSet=conf &

3.1.复制集conf配置

# mongo localhost:27100
> rs.initiate({_id: 'conf', members: [{_id: 0, host: 'localhost:27100'}, {_id: 1, host: 'localhost:27101'}]})
> rs.isMaster() #查看主从关系

4.创建Route

# nohup mongos --port 40000 --configdb conf/localhost:27100,localhost:27101 --fork --logpath=/data/log/route.log --logappend &

4.1.设置分片

# mongo localhost:40000
> use admin
> db.runCommand({ addshard: 'rs0/localhost:27020,localhost:27021'})
> db.runCommand({ addshard: 'rs1/localhost:27030,localhost:27031'})
> db.runCommand({ enablesharding: 'test'})
> db.runCommand({ shardcollection: 'test.user', key: {name: 1}})

MongoDB 备份（mongodump）与恢复（mongorestore）

MongoDB 数据备份

在MongoDB 中我们使用 mongodump 命令来备份 MongoDB 数据，该命令可以导出所有数据到指定目录中。

mongodump 命令可以通过参数指定导出的数据量级转存的服务器

语法

mongodump 命令脚本语法如下：

>mongodump -h dbhost -d dbname -o dbdirectory

-h：MongoDB躲在服务器地址，例如：127.0.0.1，当然也可以指定端口号：127.0.0.1:27017
-d：需要备份的数据库实例，例如：test
-o：备份的数据存放位置，例如：c：\data\dump，当然该目录需要提前建立，在备份完成后，系统自动在 dump 目录下建立一个 test 目录，这个目录里面存放该数据库实例的备份数据。

实例

在本地使用 27017 启动你的 mongod 服务。打开命令提示符窗口，进入 MongoDB 安装目录的 bin 目录输入命令 mongodump；

>mongodump

执行以上命令后，客户端会连接到 ip 为 127.0.0.1 端口号为 27017 的MongoDB服务上，并备份所有数据到 bin/dump/ 目录中。命令输出结果如下：

mongodump 命令可选参数列表如下所示：

语法	描述	实例
mongodump --host HOST_NAME --port PORT_NUMBER	该命令将备份所有MongoDB数据	mongodump --host runoob.com --port 27017
mongodump --dbpath DB_PATH --out BACKUP_DIRECTORY		mongodump --dbpath /data/db/ --out /data/backup/
mongodump --collection COLLECTION --db DB_NAME	该命令将备份指定数据库的集合。	mongodump --collection mycol --db test

MongoDB 数据恢复

mongodb 使用 mongorestore 命令来恢复备份的数据。

语法

mongorestore 命令脚本语法如下：

>mongorestore -h <hostname><:port> -d dbname <path>

– host <:port>, -h <:port>： MongoDB所在服务器地址，默认为：localhost：27017
–db，-d：需要恢复的数据库实例，例如：test，当然这个名称也可以和备份时候的不一样，比如test2
–drop：恢复的时候，先删除当前数据，然后恢复备份的数据。就是说，恢复后，备份后添加修改的数据都会被删除，慎用哦！
–<path>：mongorestore 最后的一个参数，设置备份数据所在的位置，例如：c:\data\dump\test。你不同时指定 <path> 和 --dir 选项，–dir也可以设置备份目录。
–dir：指定备份的目录，你不能同时指定 <path> 和 --dir 选项。

接下来我们执行以下命令：

>mongorestore

执行以上命令输出结果如下：

MongoDB 监控

在你已经安装部署并允许 MongoDB 服务后，你必须要了解 MongoDB 的运行情况，并查看 MongoDB 的性能。这样在大流量的情况下可以很好的对并保证 MongoDB 正常运作。

MongoDB 中提供了 mongostat 和 mongotop 两个命令来监控 MongoDB 的运行情况。

mongostat 命令

mongostat 是 mongodb 自带的状态检测工具，在命令行下使用。它会间隔固定时间获取 mongodb 的当前运行状态，并输出。如果你发现数据库突然变慢或者有其他问题的话，你第一手的操作就考虑采用 mongostat 来查看 mongo 状态。

启动你的 MongoDB 服务，进入到你安装的 MongoDB 目录下的bin 目录，然后输入 mongostat 命令，如下所示：

D:\set up\mongodb\bin>mongostat

以上命令输出结果如下：

mongotop 命令

mongotop 也是 mongodb 下的一个内置工具，mongotop 提供了一个方法，用来跟踪一个 MongoDB的实例，查看哪些大量的时间花费在读取和写入数据。mongotop 提供每个集合的水平的统计数据。默认情况下，mongotop 返回值的每一秒。

启动你的 Mongod 服务，进入到你安装的 MongoDB 目录下的 bin 目录，然后输入 mongotop 命令，如下所示：

D:\set up\mongodb\bin>mongotop

以上命令执行输出结果如下：

带参数实例

 E:\mongodb-win32-x86_64-2.2.1\bin>mongotop 10

后面的 10 是 <sleeptime>参数，可以不使用，等待的时间长度，以秒为单位，mongotop等待调用之间。通过的默认mongotop返回数据的每一秒。

E:\mongodb-win32-x86_64-2.2.1\bin>mongotop --locks

报告每个数据库的锁的使用中，使用 mongotop --locks，这将产生以下输出：

输出结果字段说明：

ns：包含数据库命名空间，后者结合了数据库名称和集合。
db：包含数据库的名称。名为 . 的数据库针对全局锁定，而非特定数据库。
total：mongod 花费的时间工作在这个命名空间提供总额。
read：提供了大量的时间，这 mongod 花费在执行读操作，在此命名空间。
write：提供这个命令空间进行写操作，这 mongo 花了大量的时间。

MongoDB 学习笔记八复制、分片、备份与恢复、监控相关推荐

mongo备份索引_【MongoDB学习之四】索引聚合备份与恢复监控
环境 MongoDB 4.0 CentOS 6.5_x64 一.索引语法 ensureIndex()方法基本语法格式如下所示: >db.COLLECTION_NAME.ensureIndex( ...
MongoDB学习笔记（四）使用Java进行实时监控与数据收集（空间使用量、连接数）
目录: MongoDB学习笔记(一)环境搭建与常用操作 MongoDB学习笔记(二)使用Java操作MongoDB MongoDB学习笔记(三)使用Spring Data操作MongoDB Mongo ...
MongoDB学习笔记（四）--索引性能优化
索引基础索引 ...
MongoDB学习笔记(一) MongoDB介绍及安装
系列目录 MongoDB学习笔记(一) MongoDB介绍及安装 MongoDB学习笔记(二) 通过samus驱动实现基本数据操作 MongoDB学习笔记(三) 在MVC模式下通过Jq ...
MongoDB学习笔记(入门)
MongoDB学习笔记(入门) 一.文档的注意事项: 1. 键值对是有序的,如:{ "name" : "stephen", "genda" ...
【opencv学习笔记八】创建TrackBar轨迹条
createTrackbar这个函数我们以后会经常用到,它创建一个可以调整数值的轨迹条,并将轨迹条附加到指定的窗口上,使用起来很方便.首先大家要记住,它往往会和一个回调函数配合起来使用.先看下他的函数 ...
ROS学习笔记八：创建ROS msg和srv
ROS学习笔记八:创建ROS msg和srv 本节主要讲述了如何创建和建立ROS msg和srv,同时使用命令行工具rosmsg.rossrv和roscp. msg和srv简介 msg:描述ROS m ...
非关系型数据库MongoDB学习笔记
MongoDB学习笔记 --周灿创建数据库 use "databasename" 查看数据库 show dbs 给指定数据库添加集合和插入记录 db.集合名.insert({ ...
Redis 学习笔记八：集群模式
Redis 学习笔记八:集群模式作者:Grey 原文地址: 博客园:Redis 学习笔记八:集群模式 CSDN:Redis 学习笔记八:集群模式前面提到的Redis 学习笔记七:主从复制和哨兵只能 ...

MongoDB 学习笔记八复制、分片、备份与恢复、监控

MongoDB 学习笔记八复制、分片、备份与恢复、监控

MongoDB复制（副本集）

什么是复制？

MongoDB 复制原理

MongoDB 副本集设置

副本集添加成员

MongoDB 分片

分片

为什么使用分片

MongoDB 分片

分片实例

MongoDB 备份（mongodump）与恢复（mongorestore）

MongoDB 数据备份

MongoDB 数据恢复

MongoDB 监控

mongostat 命令

mongotop 命令

MongoDB 学习笔记八复制、分片、备份与恢复、监控相关推荐

最新文章

热门文章

MongoDB 学习笔记八 复制、分片、备份与恢复、监控

MongoDB 学习笔记八 复制、分片、备份与恢复、监控

MongoDB复制（副本集）

什么是复制？

MongoDB 复制原理

MongoDB 副本集设置

副本集添加成员

MongoDB 分片

分片

为什么使用分片

MongoDB 分片

分片实例

MongoDB 备份（mongodump）与恢复（mongorestore）

MongoDB 数据备份

MongoDB 数据恢复

MongoDB 监控

mongostat 命令

mongotop 命令

MongoDB 学习笔记八 复制、分片、备份与恢复、监控相关推荐

最新文章

热门文章

MongoDB 学习笔记八复制、分片、备份与恢复、监控

MongoDB 学习笔记八复制、分片、备份与恢复、监控

MongoDB 学习笔记八复制、分片、备份与恢复、监控相关推荐