down redis集群_硬核干货！Redis 分布式集群部署实战
2024-04-04 19:06:18
原理：
- Redis集群采用一致性哈希槽的方式将集群中每个主节点都分配一定的哈希槽，对写入的数据进行哈希后分配到某个主节点进行存储。
- 集群使用公式（CRC16 key）& 16384计算键key数据那个槽。
- 16384个slot均匀分布在各个节点上。
- 集群中每个主节点将承担一部分槽点的维护，而槽点中存储着数据，每个主节点都有至少一个从节点用于高可用。
推荐学习：阿里P8架构师用450分钟时间让你精通Redis，面试再也不怕被问Redis！
节点通信方式：
- 开启一个端口 设置的端口号+10000，用于集群之间节点通信交换信息。
- 每个节点默认每秒10次选择随机5个节点发送ping消息，将自身信息和知道的集群信息传递，收到ping消息后返回pong消息做回复，最后通过这种随机的消息交换，最终每个节点将获得所有信息。
- 当某个主节点挂掉，所有节点将会发现主节点挂掉了，作为主节点的从节点，就会接替主节点的工作，然后告诉所有其它节点，他成为了主。这样其它存活节点，就将它们维护的信息表更新从节点将接任做主，如果都挂掉集群将报错。当从一个节点操作，根据一致性哈希计算后将存储在其中一个主节点中，从节点将同步主的数据。
- redis cluster是去中心化的，集群中的每个节点都是平等的关系，每个节点都保存各自的数据和整个集群的状态。每个节点都和其他所有节点连接，而且这些连接保持活跃。
- 搭建集群时，会为每一个分片的主节点，对应一个从节点。实现slaveof功能，同时当主节点down，实现sentinel哨兵的自动failover切换功能
Redis分布式集群（部署）：
端口号：7000-7005
本次分布式分片集群在一台LInux系统即可，只需要安装多个实例作为集群配置。
安装ruby环境支持：
yum -y install ruby rubygemsyum安装2.0.0版本，但是gem需要2.2.2版本以上，所以选择编译
下载并安装ruby环境：
wget https://cache.ruby-lang.org/pub/ruby/2.6/ruby-2.6.1.tar.gz
tar xf ruby-2.6.1.tar.gz && cd ruby-2.6.1/
./configure --prefix=/usr/local/ruby
make && make install && echo $?
echo 'export PATH=$PATH:/usr/local/ruby/bin' >> /etc/profile
source /etc/profile修改gem工具国内源：
# 查看gem工具源地址
gem sources -l
# 添加一个阿里云的gem工具源
gem sources -a http://mirrors.aliyun.com/rubygems/
# 删除gem工具默认国外源
gem sources --remove https://rubygems.org/
# 下载当前最新版本集群插件
gem install redis -v 4.1.0集群节点准备：
mkdir /data/700{0..5}配置7000端口实例：
vim /data/7000/redis.conf
port 7000
daemonize yes
pidfile /data/7000/redis.pid
loglevel notice
logfile "/data/7000/redis.log"
dbfilename dump.rdb
dir /data/7000
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes拷贝其他端口实例：
# 拷贝配置文件
cp /data/7000/redis.conf /data/7001/
cp /data/7000/redis.conf /data/7002/
cp /data/7000/redis.conf /data/7003/
cp /data/7000/redis.conf /data/7004/
cp /data/7000/redis.conf /data/7005/# 修改配置文件内容
sed -i 's#7000#7001#g' /data/7001/redis.conf
sed -i 's#7000#7002#g' /data/7002/redis.conf
sed -i 's#7000#7003#g' /data/7003/redis.conf
sed -i 's#7000#7004#g' /data/7004/redis.conf
sed -i 's#7000#7005#g' /data/7005/redis.conf启动所有实例：
redis-server /data/7000/redis.conf
redis-server /data/7001/redis.conf
redis-server /data/7002/redis.conf
redis-server /data/7003/redis.conf
redis-server /data/7004/redis.conf
redis-server /data/7005/redis.conf创建命令短链接：
（这个命令过期了，现在使用redis-cli命令）（可选执行命令）
ln -s /usr/local/redis-5.0.2/src/redis-trib.rb /usr/sbin/查看进程：
ps -ef |grep redis-server加入所有实例节点到集群管理：
# --replicas 1",1是代表每一个主有一个从,后面的是所有节点的地址与端口信息
redis-cli --cluster create --cluster-replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005分布式主从规则为，前三个实例节点是主，对应的后面三个实例节点为从节点，如果replicas 2，那就多加3个实例节点
查看主节点状态：
redis-cli -p 7000 cluster nodes|grep master查看从节点状态：
redis-cli -p 7000 cluster nodes|grep slaveRedis-分布式集群（管理）
集群节点增加准备：
mkdir /data/700{6..7}拷贝其他端口实例：# 拷贝配置文件
cp /data/7000/redis.conf /data/7006/
cp /data/7000/redis.conf /data/7007/# 修改配置文件内容
sed -i 's#7000#7006#g' /data/7006/redis.conf
sed -i 's#7000#7007#g' /data/7007/redis.conf启动新节点实例：
redis-server /data/7006/redis.conf
redis-server /data/7007/redis.conf查看进程：
ps -ef |grep redis-server添加主节点：（7000实例是管理节点）
#'把7006实例添加到7000实例这个主节点所在集群内(此时已经有了4个主节点)
redis-cli --cluster add-node 127.0.0.1:7006 127.0.0.1:7000查看主节点状态：
redis-cli -p 7000 cluster nodes|grep master转移slot（重新分片）：
#'操作集群管理节点从新分配，并在交互界面指定分片大小、选择接收分片的节点ID
redis-cli --cluster reshard 127.0.0.1:7000How many slots do you want to move (from 1 to 16384)? 4096
#通过人工手动计算数据分片总大小除以主节点后的数字What is the receiving node ID? 2129d28f0a86fc89571e49a59a0739812cff7953
#选择接收数据分片的节点ID，（这是新增节点7006实例的ID号）Source node #1: all
#选择从哪些源主节点重新分片给新主节点）（all是所有节点）Do you want to proceed with the proposed reshard plan (yes/no)? yes
#确认修改以上的操作重新查看主节点状态：（可以看到集群数据的重新分片）
redis-cli -p 7000 cluster nodes|grep master添加从节点：
#'把7007实例节点添加到7006实例主节点内，并指定对应7006实例主节点坐在集群的管理节点
redis-cli --cluster add-node 127.0.0.1:7007 127.0.0.1:7000 --cluster-slave --cluster-master-id 2129d28f0a86fc89571e49a59a0739812cff7953查看从节点状态：
redis-cli -p 7000 cluster nodes|grep slave集群节点删除准备：
移动要删除节点的数据分片：
#'操作集群管理节点从新分配，并在交互界面指定分片大小、选择接收分片的节点ID
redis-cli --cluster reshard 127.0.0.1:7000#方法是根据要删除master节点的分片位置，然后一个组分一个节点 ， 也可以直接移动所有数据片到一个节点How many slots do you want to move (from 1 to 16384)? 1365
#通过人工手动查看数据分片总大小What is the receiving node ID? e64f9074a3733fff7baa9a4848190e56831d5447
#选择接收数据分片的节点ID，（这是新增节点7006实例的ID号）Source node #1: 2129d28f0a86fc89571e49a59a0739812cff7953
#选择从哪些源主节点重新分片给新主节点（这是要删除的主节点的ID号）Source node #2: done
#这是结束命令Do you want to proceed with the proposed reshard plan (yes/no)? yes
#确认修改以上的操作重新查看主节点状态：（可以看到集群数据的重新分片）
redis-cli -p 7000 cluster nodes|grep master继续移动数据片：
#'操作集群管理节点从新分配，并在交互界面指定分片大小、选择接收分片的节点ID
redis-cli --cluster reshard 127.0.0.1:7000# 方法是根据要删除master节点的分片位置，然后一个组分一个节点 ， 也可以直接移动所有数据片到一个节点How many slots do you want to move (from 1 to 16384)? 1366 #通过人工手动查看数据分片总大小What is the receiving node ID? f6c1aaea3a8c56e0c7dee8ad7ae17e26dd04244c
#选择接收数据分片的节点ID，（这是新增节点7006实例的ID号）Source node #1: 2129d28f0a86fc89571e49a59a0739812cff7953
#选择从哪些源主节点重新分片给新主节点（这是要删除的主节点的ID号）Source node #2: done
#这是结束命令Do you want to proceed with the proposed reshard plan (yes/no)? yes
#确认修改以上的操作重新查看主节点状态：（可以看到集群数据的重新分片）
redis-cli -p 7000 cluster nodes|grep master最后一次移动数据片：
#'操作集群管理节点从新分配，并在交互界面指定分片大小、选择接收分片的节点ID
redis-cli --cluster reshard 127.0.0.1:7000#方法是根据要删除master节点的分片位置，然后一个组分一个节点 ， 也可以直接移动所有数据片到一个节点How many slots do you want to move (from 1 to 16384)? 1365 #通过人工手动查看数据分片总大小What is the receiving node ID? 5a0df4ea0af5f35c1248e45e88d44c3f2e10169f
Source node #1: 2129d28f0a86fc89571e49a59a0739812cff7953
Source node #2: done重新查看主节点状态：（可以看到集群数据的重新分片）
redis-cli -p 7000 cluster nodes|grep master删除清空数据片的主节点：
#'删除已经清空数据的7006实例
redis-cli --cluster del-node 127.0.0.1:7006 2129d28f0a86fc89571e49a59a0739812cff7953#删除没有主库的7007实例
redis-cli --cluster del-node 127.0.0.1:7007 821bcf78c5e4c0b08aa7a5d514214b657ebec4ab其他配置管理：
#内存信息查看
redis-cli -p 6382 -a redhat info memory
#设置最大只能使用100MB的内存
redis-cli -p 6382 -a redhat config set maxmemory 102400000down redis集群_硬核干货！Redis 分布式集群部署实战相关推荐
- redis分片_5000+字硬核干货！Redis 分布式集群部署实战
原理: Redis集群采用一致性哈希槽的方式将集群中每个主节点都分配一定的哈希槽,对写入的数据进行哈希后分配到某个主节点进行存储. 集群使用公式(CRC16 key)& 16384计算键key ...
- tps 数据库写并发衡量_硬核干货！抗住百万高并发的 6 个关键技术！
一.什么是高并发 高并发(High Concurrency)是互联网分布式系统架构设计中必须考虑的因素之一,它通常是指,通过设计保证系统能够同时并行处理很多请求. 高并发相关常用的一些指标有响应时间( ...
- hbase hdfs外部表_硬核干货长文！Hbase来了解一下不？
本文公众号来源:互联网侦察 作者:channingbreeze 最近我也在入门大数据相关的基础,这篇文章非常通俗易懂讲解了什么是Hbase,推荐阅读! 等我学所成,我也来写写大数据相关的入门知识. ...
- eclipse中文版界面设置黑色_硬核干货总结IDEA开发的26个常用设置
前言 程序员对待IDE都是虔诚的,经常因为谁是最好的IDE而在江湖上掀起波澜,曾经我也是. 后来我遇到了IDEA,从此是它,余生都是它. IDEA 毫无疑问是目前最强大的Java开发工具了,但是大部分 ...
- esp8266电池供电方案_硬核干货！十大5G基站电源改造方案
点击上方U学在线一键关注,回复以下数字即可查看更多精彩内容: [201]5G耗电/建址问题各地如何解决? [202]拖欠工程款,最高可判7年! [203]146家企业串标826万施工项目! [204] ...
- 搜索c盘大文件_硬核干货，如何给c盘“减肥”？
C盘就是windows系统的系统盘,它就如同windows系统的躯干,所有系统重要组件都在这个盘内,但是它也常常被肥胖症所困扰,临床表现一般为--系统卡顿.运行缓慢,某些软件无法正常安装和使用. 虽然 ...
- 三星内存编码_硬核干货「三星 DDR4」内存颗粒上编码表示的意思是什么？
#三星内存颗粒# 今天买了1pcs三星的内存条看到内存条上面的颗粒上面有一串编号,不知道是什么意思,于是打开网页就一发不可收拾的有了后面的内容. 内存条它的英文缩写DIMM,英文名:Dual-Inli ...
- e站app里站hosts_硬核干货区 | E站的国际站运营知识星球上线啦
朋友们大家好,E站已上线了知识星球内容库和问答圈,以阿里国际站,Wordpress自建站,Google SEO的更新内容为主,用原理技术的视角+全栈运营的思维去加成对店铺的运营和优化,知道为什么要这样 ...
- 硬核干货：网易云音乐如何做产品创新
网易云音乐是大家非常熟悉和喜欢的一款产品,作为一个音乐类应用,成功融合进了社交等元素,满足了多样化的用户需求.那么今天产品系就带大家揭秘网易云音乐是怎样做产品的,而揭秘者正是网易云音乐的产品总监沈博文 ...
最新文章
- 沙盒化容器：是容器还是虚拟机
- 设计模式复习-策略模式
- tomcat正常启动但是访问 404
- 【Java】命令行下的Java包结构编译与执行
- 使用TortoiseGit提交代码到Github.com上 详细步骤
- infoq 视频下载 ［转老赵］
- JAVA 设计模式 职责链模式
- R语言学堂开通付费咨询业务了~~
- 发现个特别合胃口的仓鼠、小鱼和计数器代码
- 学生考勤及行为管理系统_幼儿园接送考勤管理系统，可抓拍陌生人 预警黑白名单！...
- android 扫描ble设备,Android设备扫描后列出BLE设备
- 单片机控制IIC协议EEPROM芯片24C512之模块化编程(持续更新中)
- ssr的pac中加入学校图书馆数据库访问pac
- 公元纪年法（儒略历-格里高历）转儒略日
- java计算机毕业设计四六级在线考试系统源码+系统+数据库+lw文档+mybatis+运行部署
- 篮球图片html页面代码,教你用PS制作一个非常逼真的篮球图片
- 百度Sugar BI 数据可视化里的标签页组件如何实现
- VSPD虚拟串口工具无法删除添加的虚拟串口
- 解决lo: flags=73＜UP,LOOPBACK,RUNNING＞ mtu 65536 网络连接不通
- 中关村科技企业融资缺口700亿 商业银行垂涎