SpringBoot整合MongoDB以及副本集、分片集群的搭建

整合springboot应用

说明: 这里主要以 springboot 应用为基础应用进行整合开发。

Spring Data : Spring 数据框架 JPA 、Redis、Elasticsearch、AMQP、MongoDB

JdbcTemplate

RedisTemplate

ElasticTempalte

AmqpTemplate

MongoTemplate

SpringBoot Spring Data MongoDB

环境搭建

# 引入依赖

<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-mongodb</artifactId>
</dependency>

# 编写配置

# mongodb 没有开启任何安全协议
# mongodb(协议)://192.168.204.140(主机):27017(端口)/baizhi(库名)
spring.data.mongodb.uri=mongodb://192.168.204.140:27017/baizhi# mongodb 存在密码则进行下面配置
#spring.data.mongodb.host=192.168.204.140
#spring.data.mongodb.port=27017
#spring.data.mongodb.database=baizhi
#spring.data.mongodb.username=lb
#spring.data.mongodb.password=lb

集合操作

注意:库应该提前创建好

创建集合

@Test
public void testCreateCollection(){mongoTemplate.createCollection("users");//参数: 创建集合名称
}

注意:创建集合不能存在,存在报错

删除集合

@Test
public void testDeleteCollection(){mongoTemplate.dropCollection("users");
}

测试类


/*** 对集合的操作*/
public class MongoTemplateTests extends SpringbootMongodbDemoApplicationTests{private final MongoTemplate mongoTemplate;// 构造注入@Autowiredpublic MongoTemplateTests(MongoTemplate mongoTemplate) {this.mongoTemplate = mongoTemplate;}// 1. 创建集合@Testpublic void testCreateCollection(){// 判断集合是否存在boolean exists = mongoTemplate.collectionExists("products");if(!exists){    // 集合不存在的话再创建mongoTemplate.createCollection("products"); // 创建名为products的集合// 注: 创建在哪个库中呢? 配置文件之前已经配置好了,所以我们无须关心}}// 2. 删除集合@Testpublic void testDeleteCollection(){mongoTemplate.dropCollection("products"); // 删除名为 products 的集合// 注: 删除哪个库的集合呢? 配置文件中之前已经配置好了使用哪个库,所以我们无须关心}}

文档操作

添加

insert 方法和 save 方法都可以添加文档

private final MongoTemplate mongoTemplate;// 文档添加操作
@Test
public void testCreateDocument(){// 存储单条文档//User user = new User(2, "剑神李淳罡", 2800.1, new Date());//mongoTemplate.save(user); // save方法在_id存在时更新数据//mongoTemplate.insert(user); // insert方法在_id存在时会报'主键冲突'错误// 批处理存储文档List<User> users = Arrays.asList(new User(5, "姜泥", 2800.1, new Date()), new User(6, "红薯", 2800.1, new Date()));mongoTemplate.insert(users, User.class); // 参数1:批量数据的集合  参数2:明确集合中成员的类型(其实是为了读取注解,放入哪个集合)
}

insert: 插入重复数据时：insert报DuplicateKeyException提示主键重复；save会对已存在的数据进行更新。
save: 批处理操作时：insert可以一次性插入整个数据，效率较高；save不能批量插入数据，只能一条一条的放数据。

查询

Criteria

常见查询

@Test
public void testQuery(){   //基于 id 查询template.findById("1",User.class);//查询所有template.findAll(User.class);template.find(new Query(),User.class);//等值查询template.find(Query.query(Criteria.where("name").is("编程不良人")), User.class);// > gt  < lt  >= gte  <= ltetemplate.find(Query.query(Criteria.where("age").lt(25)),User.class);template.find(Query.query(Criteria.where("age").gt(25)),User.class);template.find(Query.query(Criteria.where("age").lte(25)),User.class);template.find(Query.query(Criteria.where("age").gte(25)),User.class);//andtemplate.find(Query.query(Criteria.where("name").is("编程不良人").and("age").is(23)),User.class);//orCriteria criteria = new Criteria().orOperator(Criteria.where("name").is("编程不良人_1"),Criteria.where("name").is("编程不良人_2"));template.find(Query.query(criteria), User.class);//and orCriteria criteria1 = new Criteria().and("age").is(23).orOperator(Criteria.where("name").is("编程不良人_1"),Criteria.where("name").is("编程不良人_2"));template.find(Query.query(criteria1), User.class);//sort 排序 Query query = new Query();query.with(Sort.by(Sort.Order.desc("age")));//desc 降序  asc 升序template.find(query, User.class);//skip limit 分页Query queryPage = new Query();queryPage.with(Sort.by(Sort.Order.desc("age")))//desc 降序  asc 升序.skip(0) //起始条数.limit(4); //每页显示记录数template.find(queryPage, User.class);//count 总条数template.count(new Query(), User.class);//distinct 去重//参数 1:查询条件 参数 2: 去重字段  参数 3: 操作集合  参数 4: 返回类型template.findDistinct(new Query(), "name", User.class, String.class);//使用 json 字符串方式查询 Query query = new BasicQuery("{$or:[{name:'编程不良人'},{name:'徐凤年'}]}", "{name:0}");template.find(query, User.class);
}

更新


@Test
public void testUpdate() {//1.更新条件Query query = Query.query(Criteria.where("username").is("编程不良人"));//2.更新内容Update update = new Update();update.setOnInsert("id", 10);       // 当要更新的文档不存在时,设置更新插入操作插入文档的_idupdate.set("salary", 4000.1);//只更新符合条件的第一条数据mongoTemplate.updateFirst(query, update, User.class);//多条更新mongoTemplate.updateMulti(query, update, User.class);//更新插入（要更新的条件文档没查到，把新数据插入）mongoTemplate.upsert(query, update, User.class);//返回值均为 updateResult//System.out.println("匹配条数:" + updateResult.getMatchedCount());//System.out.println("修改条数:" + updateResult.getModifiedCount());//System.out.println("插入id_:" + updateResult.getUpsertedId());
}

删除

@Test
public void testDelete(){//删除所有mongoTemplate.remove(new Query(),User.class);//条件删除mongoTemplate.remove(Query.query(Criteria.where("name").is("编程不良人")),User.class);
}

副本集

说明

https://docs.mongodb.com/manual/replication/

MongoDB 副本集（Replica Set）是有自动故障恢复功能的主从集群，有一个Primary节点和一个或多个Secondary节点组成。副本集没有固定的主节点,当主节点发生故障时整个集群会选举一个主节点为系统提供服务以保证系统的高可用。副本集缺点: 由于对于提供服务的只有主节点, 所以存在单节点并发压力问题以及单节点物理存储空间限制问题.

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LOBxL0Ef-1664354191051)(https://img2022.cnblogs.com/blog/2204449/202209/2204449-20220928161939527-703084251.svg)]

Automatic Failover

自动故障转移机制: 当主节点未与集合的其他成员通信超过配置的选举超时时间（默认为 10 秒）时，合格的辅助节点将调用选举以将自己提名为新的主节点。集群尝试完成新主节点的选举并恢复正常操作。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2oTfpgHL-1664354191053)(https://img2022.cnblogs.com/blog/2204449/202209/2204449-20220928161939072-156081784.svg)]

搭建副本集

因为没有那么多的服务器，所以我们在一台机器上模拟一下副本集群的搭建。

创建数据目录

# 进入 mongodb/bin 目录
- cd mongodb/bin# 在安装目录中创建
- mkdir -p ../repl/data1
- mkdir -p ../repl/data2
- mkdir -p ../repl/data3

搭建副本集

# 启动$ ./mongod --port 27017 --dbpath ../repl/data1 --bind_ip 0.0.0.0 --replSet  myreplace/[192.168.204.139:27018,192.168.204.139:27019]$ ./mongod --port 27018  --dbpath ../repl/data2 --bind_ip 0.0.0.0 --replSet  myreplace/[192.168.204.139:27019,192.168.204.139:27017]$ ./mongod --port 27019  --dbpath ../repl/data3 --bind_ip 0.0.0.0 --replSet  myreplace/[192.168.204.139:27017,192.168.204.139:27018]

注意: --replSet 副本集 myreplace 副本集名称/集群中其他节点的主机和端口

一个副本集的多个mongodb节点的名字必须是一致的.

连接任意节点的客户端，配置副本集

./mongo --port 27017

use admin

初始化副本集

> var config = { _id:"myreplace", members:[{_id:0,host:"192.168.204.139:27017"},{_id:1,host:"192.168.204.139:27018"},{_id:2,host:"192.168.204.139:27019"}]
}
> rs.initiate(config)                                //初始化配置

设置客户端临时可以访问(设置从节点可以查看主节点的内容)

# 在从节点客户端上执行下面的代码> rs.slaveOk();或> rs.secondaryOk();

客户端操作副本集

Navicat如何连接

springboot如何连接

配置文件 application.properties

# 连接MongoDB的副本集群  写上全部结点的ip和端口  replSet用来写集群的名字
spring.data.mongodb.uri=mongodb://192.168.204.139:27017,192.168.204.139:27018,192.168.204.139:27019/baizhi?replicaSet=myreplace

分片集群

说明

https://docs.mongodb.com/manual/sharding/

分片(sharding)是指将数据拆分,将其分散存在不同机器的过程，有时也用分区(partitioning)来表示这个概念,将数据分散在不同的机器上，不需要功能强大的大型计算机就能存储更多的数据，处理更大的负载。

分片目的是通过分片能够增加更多机器来应对不断的增加负载和数据，还不影响应用运行。

MongoDB支持自动分片,可以摆脱手动分片的管理困扰，集群自动切分数据做负载均衡。MongoDB分片的基本思想就是将集合拆分成多个块，这些快分散在若干个片里，每个片只负责总数据的一部分，应用程序不必知道哪些片对应哪些数据，甚至不需要知道数据拆分了，所以在分片之前会运行一个路由进程，mongos进程，这个路由器知道所有的数据存放位置，应用只需要直接与mongos交互即可。mongos自动将请求转到相应的片上获取数据，从应用角度看分不分片没有什么区别。

架构

Shard: 用于存储实际的数据块，实际生产环境中一个shard server角色可由几台机器组个一个replica set承担，防止主机单点故障
Config Server:mongod实例，存储了整个 ClusterMetadata。
Query Routers: 前端路由，客户端由此接入，且让整个集群看上去像单一数据库，前端应用可以透明使用。
Shard Key: 片键，设置分片时需要在集合中选一个键,用该键的值作为拆分数据的依据,这个片键称之为(shard key)，片键的选取很重要,片键的选取决定了数据散列是否均匀。

搭建

# 1.集群规划
- Shard Server 1：27017
- Shard Repl   1：27018- Shard Server 2：27019
- Shard Repl   2：27020- Shard Server 3：27021
- Shard Repl   3：27022- Config Server ：27023
- Config Server ：27024
- Config Server ：27025- Route Process ：27026# 2.进入安装的 bin 目录创建数据目录
- mkdir -p ../cluster/shard/s0
- mkdir -p ../cluster/shard/s0-repl- mkdir -p ../cluster/shard/s1
- mkdir -p ../cluster/shard/s1-repl- mkdir -p ../cluster/shard/s2
- mkdir -p ../cluster/shard/s2-repl- mkdir -p ../cluster/shard/config1
- mkdir -p ../cluster/shard/config2
- mkdir -p ../cluster/shard/config3# 3.启动4个 shard服务# 启动 s0、r0
> ./mongod --port 27017 --dbpath ../cluster/shard/s0 --bind_ip 0.0.0.0 --shardsvr --replSet r0/192.168.204.140:27018
> ./mongod --port 27018 --dbpath ../cluster/shard/s0-repl --bind_ip 0.0.0.0 --shardsvr --replSet r0/192.168.204.140:27017
-- 1.登录任意节点
-- 2. use admin
-- 3. 执行config = { _id:"r0", members:[{_id:0,host:"192.168.204.140:27017"},{_id:1,host:"192.168.204.140:27018"},]}rs.initiate(config);//初始化# 启动 s1、r1
> ./mongod --port 27019 --dbpath ../cluster/shard/s1 --bind_ip 0.0.0.0 --shardsvr  --replSet r1/192.168.204.140:27020
> ./mongod --port 27020 --dbpath ../cluster/shard/s1-repl --bind_ip 0.0.0.0 --shardsvr --replSet r1/192.168.204.140:27019
-- 1.登录任意节点
-- 2. use admin
-- 3. 执行config = { _id:"r1", members:[{_id:0,host:"192.168.204.140:27019"},{_id:1,host:"192.168.204.140:27020"},]}rs.initiate(config);//初始化# 启动 s2、r2
> ./mongod --port 27021 --dbpath ../cluster/shard/s2 --bind_ip 0.0.0.0 --shardsvr --replSet r2/192.168.204.140:27022
> ./mongod --port 27022 --dbpath ../cluster/shard/s2-repl --bind_ip 0.0.0.0 --shardsvr --replSet r2/192.168.204.140:27021
-- 1.登录任意节点
-- 2. use admin
-- 3. 执行config = { _id:"r2", members:[{_id:0,host:"192.168.204.140:27021"},{_id:1,host:"192.168.204.140:27022"},]}rs.initiate(config);//初始化# 4.启动3个config服务> ./mongod --port 27023 --dbpath ../cluster/shard/config1 --bind_ip 0.0.0.0 --replSet  config/[192.168.204.140:27024,192.168.204.140:27025] --configsvr> ./mongod --port 27024 --dbpath ../cluster/shard/config2 --bind_ip 0.0.0.0 --replSet  config/[192.168.204.140:27023,192.168.204.140:27025] --configsvr> ./mongod --port 27025 --dbpath ../cluster/shard/config3 --bind_ip 0.0.0.0 --replSet  config/[192.168.204.140:27023,192.168.204.140:27024] --configsvr# 5.初始化 config server 副本集
- `登录任意节点 congfig server`
> 1.use admin
> 2.在admin中执行config = { _id:"config", configsvr: true,members:[{_id:0,host:"192.168.204.140:27023"},{_id:1,host:"192.168.204.140:27024"},{_id:2,host:"192.168.204.140:27025"}]}
> 3.rs.initiate(config); //初始化副本集配置 # 6.启动 mongos 路由服务> ./mongos --port 27026 --configdb config/192.168.204.140:27023,192.168.204.140:27024,192.168.204.140:27025 --bind_ip 0.0.0.0 # 7.登录 mongos 服务
> 1.登录 mongo --port 27026
> 2.use admin
> 3.添加分片信息db.runCommand({ addshard:"r0/192.168.204.140:27017,192.168.204.140:27018","allowLocal":true });db.runCommand({ addshard:"r1/192.168.204.140:27019,192.168.204.140:27020","allowLocal":true });db.runCommand({ addshard:"r2/192.168.204.140:27021,192.168.204.140:27022","allowLocal":true });
> 4.指定分片的数据库db.runCommand({ enablesharding:"baizhi" });> 5.设置库的片键信息db.runCommand({ shardcollection: "baizhi.users", key: { _id:1}});db.runCommand({ shardcollection: "baizhi.emps", key: { _id: "hashed"}})