MongoDB 分片

高数据量（消耗内存）和高吞吐量（消耗CPU）的数据库应用会对单机的性能造成较大压力，为了解决这些问题，一般采用两种方法：水平扩展（将数据集分布在多个服务器上）和垂直扩展（增加更多的CPU和存储资源）。

当MongoDB存储海量数据时，一台机器可能不足以存储数据，也可能不足以提供可接受的读写吞吐量。这时，我们可以通过分割数据，使得数据分布在多个服务器上。

1. 分片集群架构

Config Server：存储集群所有节点、分片数据数据信息等元数据信息，默认需要配置3个Config Server节点；
Mongos：专用路由进程，提供对外应用访问，将客户端发来的请求准确无误的路由到集群中的一个或一组服务器上，同时会把接收到的响应拼装起来发回客户端；
Shard：存储数据，以chunk为单位存储数据；

1.1 Chunk

在Shard内部，MongoDB还会把数据分为chunks，每个chunk包含shard的一部分数据，chunk的产生有两个用途：

Splitting：当chunk的大小超过配置的chunk size（默认为64M）时，MongoDB的后台进程会把这个chunk切分成更小的chunk；
Balancing：balancer时一个后台进程，负责chunk的迁移，从而均衡各个shard的负载；

chunk size的选择：小的chunk size数据均衡时迁移速度快，数据分布更均匀，但数据分裂频繁，路由节点消耗更多资源；大的chunk size数据分裂少，但数据块迁移消耗IO资源大，通常选择100M～200M；

2. 数据区分

2.1 分片键 shard key

MongoDB中的数据分片是以集合为基本单位的，集合中的数据通过shard key被分成多个部分。其实shard key就是在集合中选一个键，用该键作为数据拆分的依据。

注意：

shard key是不可变的；
shard key必须有索引；
shard key大小限制512bytes；
shard key用于路由查询；

2.2 以范围为基础的分片 Sharded Cluster

Sharded Cluster支持将单个集合的数据分散存储到多个shard上，用户可以指定根据集合内文档的某个字段（shard key）来进行范围分片。

在使用shard key做范围划分的系统中，拥有”相近”shard key的文档很可能存储在同一个数据块中，因此也会存储在同一个分片中。

2.3 基于哈希的分片

对于基于哈希的分片，MongoDB计算一个字段的哈希值，并用这个哈希值来创建数据块。在使用基于哈希分片的系统中，拥有”相近”shard key的文档很可能不会存储在同一个数据块中，因此数据的分离性更好一些。

MongoDB 分片相关推荐

mongodb分片扩展架构
目录一.简介二.分片集群三.数据分布策略四.Mongos访问模式五.Config元数据六.分片均衡参考文档一.简介 MongoDB目前3大核心优势:『灵活模式』+ 『高可用性』 + 『 ...
搭建mongodb分片
搭建mongodb分片 http://gong1208.iteye.com/blog/1622078 Sharding分片概念这是一种将海量的数据水平扩展的数据库集群系统,数据分表存储在shardi ...
搭建MongoDB分片集群
在部门服务器搭建MongoDB分片集群,记录整个操作过程,朋友们也可以参考. 计划如下: 用5台机器搭建,IP分别为:192.168.58.5.192.168.58.6.192.168.58.8.19 ...
MongoDB 分片的原理、搭建、应用
一.概念: 分片(sharding)是指将数据库拆分,将其分散在不同的机器上的过程.将数据分散到不同的机器上,不需要功能强大的服务器就可以存储更多的数据和处理更大的负载.基本思想就是将集合切成小块,这 ...
mongodb 分片群集配置及数据迁移
配置mongodb分片群集(sharding cluster) Sharding cluster介绍这是一种可以水平扩展的模式,在数据量很大时特给力,实际大规模应用一般会采用这种架构去构建monod ...
mongodb 启动_精心总结--mongodb分片集群启动与关闭
概述网上教程有点坑啊,很多bug,今天刚好涉及到所以抽空整理了下mongodb分片集群启动与关闭方面的教程.希望对大家有点帮助. 基础环境配置 192.168.240.145 测试Nosql服务器1 ...
MongoDb分片集群认证
本文主要基于已经搭建好的未认证集群,结合上篇Mongodb副本集分片集群模式环境部署(https://www.cnblogs.com/woxingwoxue/p/9875878.html), Mong ...
mongodb分片概念和原理-实战分片集群
一.分片分片是一种跨多台机器分发数据的方法.MongoDB使用分片来支持具有非常大的数据集和高吞吐量操作的部署. 问题: 具有大型数据集或高吞吐量应用程序的数据库系统可能会挑战单个服务器的容量.例如 ...
实战：MongoDB 分片集群Shard Cluster 搭建（1台路由节点，3台配置节点，9台分片节点）
MongoDB 分片集群搭建(分片集群安全认证+SpringBoot访问) 一.搭建要求一台路由节点 IP地址:192.168.80.110 端口:11111 三套复制集(每个分片节点中的复制集都 ...

MongoDB 分片

MongoDB 分片

1. 分片集群架构

1.1 Chunk

2. 数据区分

2.1 分片键 shard key

2.2 以范围为基础的分片 Sharded Cluster

2.3 基于哈希的分片

MongoDB 分片相关推荐

最新文章

热门文章