集群节点间的延迟问题

mongoDB 一个弱点，就是最终一致性，这也是所有NoSQL 的一个问题。
在CAP 理论中，数据库在 (C)onsistency、(A)vailability和(P)artition-tolerance
三者只能满足两个。比如MongoDB 有更好的高可用性，分布式。就不可避免的牺牲了 [一致性]

前段时间开发组的反映说一条记录在插入后，再查询，没有查询到，这问题还不少。

但后面测试又到重现这个问题。但延迟肯定是有的，但一直不知道具体有多严重。这里暂时先

解决办法肯定是有的，但肯定也不能完全解决。

------------------------------------------------------------------------------------------------------

在应用中，可以从以下几个方面进行避免数据[一致性] 问题。

一、监测网络是否有瓶颈，并解决。
这点我们网络，如果是全部放在云服务器内网进行，几乎不存在，但也不能完全排除。

二、确认硬件配置上，主从是否一致（cpu,mem,io)

现在很多的集群中，已基本上一致的。比如[业务库]，[统计库],[日志库],
但也有例外： [标准版正式库] 集群：[nginx101,db112,db115]，nginx101 服务器的性能更好，
但跑了其它的应用。

这些问题有历史原因。个人是一直建议，数据库服务器数据节点上，不要跑其它的应用。以免出现
相互干扰问题(io,net,cpu争用)。

三、oplog 大小配置，不知会不会对延迟有影响，现在配置值为10G，数据保存大约20天左右的日志量。
个人认为应该可以减少到 3 - 5G

四、使用 readpreference 读策略

在确实遇到有些读有延迟的问题时，可以使用读策略，把一致性强的读，放到主库进行读
       #python code
       mon_conn = pymongo.MongoClient(['mongodb://192.168.20.11:28000,192.168.20.19:28000,192.168.20.13:28000,192.168.20.15:28000,192.168.20.17:28000'],
                                   read_preference=pymongo.ReadPreference.PRIMARY)

（就我们当前版本来说，也就只有上面3种方法可以做为解决问题的处理方式了，所以建议还是优先把升级放在前位）
（以下的方法，只在3.2版本可用，当然，使用时也有利有弊，一般在日志类数据保存时也不会去使用 WriteConcern ）

四、使用WriteConcern 机制把数据同步写到多个从机

1. 3个节点的集群中，保证2个节点插入成功，超时设置为5秒

db.products.insert(
       { item: "envelopes", qty : 100, type: "Clasp" },
       { writeConcern: { w: 2, wtimeout: 5000 } }
       )

2.在集群配置中设置多数插入成功才为成功。

cfg = rs.conf()
           cfg.settings = {}
           cfg.settings.getLastErrorDefaults = { w: "majority", wtimeout: 5000 }
           rs.reconfig(cfg)

3.使用TAG ，给各个集群节点设置标签，在插入，更新时，保证某个TAG 成功才为成功（insert,update 返回1）
3.1 先配置节点tag

conf = rs.conf()
           conf.members[0].tags = { "dc": "east", "use": "production" }
           conf.members[1].tags = { "dc": "east", "use": "reporting" }
           conf.members[2].tags = { "dc": "west","use": "production" }
           rs.reconfig(conf)

           3.2 设置错误
           conf.settings = { getLastErrorModes: { MultipleDC : { "dc": 1, "use": 1 } } }

3.3 插入数据时，指定保存到某个tag 对应的节点（可能多个），才算成功(insert,update 返回1)
db.users.insert( { id: "xyz", status: "A" }, { writeConcern: { w: "MultipleDC" } } )

集群节点间的延迟问题相关推荐

安装calico网络插件后K8s集群节点间通信找不到主机路由（no route to host）
安装calico网络插件后K8s集群节点间通信找不到主机路由(no route to host) 背景:k8s安装calico网络插件后master节点ping不通其它node节点,但可以ping通外 ...
Redis Cluster集群节点间通信
转载请声明出处哦~,本篇文章发布于 fushengwushi 的博客:https://www.fushengwushi.com/archives/1646 Redis 的集群节点之间的通信采取 gos ...
MySQL集群节点宕机，数据库脑裂！如何排障？
作者介绍王晶,中国移动DBA,负责"移动云"业务系统的数据库集成架构设计.运维.优化等工作:擅长技术领域MySQL,获Oracle颁发的"MySQL DBA" ...
二、Eureka之server端集群节点发现，数据同步
一.前言 Eureka服务端封装了一个集群节点管理的类名称为PeerEurekaNodes 通过名称翻译出来为对等的Eureka节点集合,可以看出这个类是对eureka服务端集群节点抽象,下面通过源码 ...
MySQL集群节点参数说明
1. 定义MySQL集群管理服务器 [NDB_MGMD]部分(或其别名[MGM])用于配置管理服务器的行为.下面列出的所有参数均能被忽略,如果是这样,将使用其默认值.注释:如果ExecuteOnCom ...
读懂这一篇，集群节点不下线
作者 | 声东阿里云售后技术专家导读:排查完全陌生的问题.完全不熟悉的系统组件,是售后工程师的一大工作乐趣,当然也是挑战.今天借这篇文章,跟大家分析一例这样的问题.排查过程中,需要理解一些自己完 ...
Kubernetes从懵圈到熟练：读懂这一篇，集群节点不下线
排查完全陌生的问题,完全不熟悉的系统组件,是售后工程师的一大工作乐趣,当然也是挑战.今天借这篇文章,跟大家分析一例这样的问题.排查过程中,需要理解一些自己完全陌生的组件,比如systemd和dbus. ...
Promethus搭建 K8S 集群节点资源监控系统
对于集群的监控一般我们需要考虑以下几个方面: Kubernetes 节点的监控:比如节点的 cpu.load.disk.memory 等指标内部系统组件的状态:比如 kube-scheduler.k ...
【ES实战】ES集群节点迁移与缩容补充说明
[ES实战]ES集群节点迁移与缩容补充说明 [ES实战]ES集群节点迁移与缩容文章目录 [ES实战]ES集群节点迁移与缩容补充说明 1.集群的现状分析和集群的规划 2.集群健康关注点,变化关注点 3 ...

集群节点间的延迟问题

集群节点间的延迟问题相关推荐

最新文章

热门文章