记录一次elastic-job分片查询及基础概念理解

概念
任务：从sap同步商品数据
作业服务器节点：商品中心部署了几台服务器
分片总数shardingTotalCount：把任务分成几部分执行
分片索引/分片项shardingItem：分片总数/服务节点

如果：
2个节点A,B，2个分片，分片索引:0,1 A对应0，B对应1
3个节点A,B,C，10个分片，分片索引就是：0,1,2,
数据id/分片=分片项，即根据数据id区分不同服务节点处理的数据
A服务器节点处理 id除以分片结果分片项是0的数据
如果id 1-10,处理id为3,6,9的数据

配置信息
指定任务执行周期和分片总数
task:
test:
cron: 0/5 * * * * ?
#作业分片总数
shardingTotalCount: 3
shardingItemParameters: 0=Beijing,1=Shanghai,2=Guangzhou
description: 描述

查询sql
from mid_base_product_info where mod(id, #{shardingContext.shardingTotalCount,jdbcType=INTEGER}) =
   #{shardingContext.shardingItem,jdbcType=INTEGER}
   and process_flag=0

取余是用函数mod(numer1,number2)，其返回的值为其余数值
如：mod(id,2) = 1 返回id号是奇数的id

参考：https://blog.csdn.net/qq924862077/article/details/82956790

记录一次elastic-job分片查询及基础概念理解相关推荐

记录阿里云Elastic Search实例使用经验
记录阿里云Elastic Search实例使用经验购买服务器购买完成开始设置并使用 1.打开实例管理页面 2.设置下kibana语言方便操作 3.登录kibana可视化管理平台进入索引管理查看索 ...
为什么分库分表后不建议跨分片查询
来源:阿飞的博客写在前面:如果对分库分表还不是很熟悉的,可以参考笔者之前的文章<分库分表技术演进&最佳实践>. 在这篇文章中提到了一个场景,即电商的订单.我们都知道订单表有三大主 ...
企业实战_17_MyCat水平扩展_跨分片查询_ER分片
接上一篇:企业实战_16_MyCat全局自增ID https://blog.csdn.net/weixin_40816738/article/details/100064315 案例比较: 在垂直拆分 ...
企业实战_14_MyCat跨分片查询_全局表
接上一篇:企业实战_13_MyCat清除冗余数据 https://gblfy.blog.csdn.net/article/details/100057317 文章目录一.跨分片查询验证 1. 登录m ...
oracle 指定关联,Oracle巧取指定记录以及巧用外关联查询
51Testing软件测试网n*ue;R,F%SF5j]"f%Q Oracle巧取指定记录以及巧用外关联查询)L,mOf&ym2g0 9xJ}]-y0作者:010032 51Tes ...
电话计算机怎么看记录,移动怎么查通话记录详单（中国移动通话查询明细）
移动怎么查通话记录详单(中国移动通话查询明细) 如果我们知道自己手机号的服务密码的话,是可以去营业厅查询最近6个月的通话记录的,但如果我们忘记了自己的密码该怎么办呢?是否还有办法进行查询呢?其实方法还 ...
week7 day3 记录相关操作之单表查询
week7 day3 记录相关操作之单表查询 1.1 单表查询的用法 1.2 关键字的执行优先级(重点) 1.3 简单查询 1.4 WHERE约束 1.5 分组查询GROUP BY 1.6 HAVIN ...
记录集执行mysql_mysql 多次查询后再执行记录集
mysql 多次查询后再执行记录集关注:234 答案:2 mip版解决时间 2021-01-17 06:32 提问者酒瘾渼亽兒 2021-01-16 12:11 一.概况一个项目需要远程连接 ...
MySQL连接查询——MySQL 基础查询你会了吗？
前言: 由于大一学习数据库不扎实,学到后面有点吃力,所以回过头来认真学习一边,写一些学习总结,提醒自己.也要告诫读者,把基础打扎实.读者觉得有用的话可以收藏点赞哦! 上一篇:MySQL函数查询--My ...
复习JavaWeb的小项目书籍信息的增删改查分页功能实现Java面试题Session和Cookie的基础概念生活【记录一个咸鱼大学生三个月的奋进生活】034
记录一个咸鱼大学生三个月的奋进生活034 JavaWeb的增删改查分页功能实现前期准备工作(数据库连接类和实体类) 数据库建立数据库连接类(DBManager) 书籍信息的实体类(Book) 操作 ...

记录一次elastic-job分片查询及基础概念理解

记录一次elastic-job分片查询及基础概念理解相关推荐

最新文章

热门文章