批量-跑批存在的意义

批量，顾名思义，一批一批的数据，数据量多。为什么有批量，有跑批这种操作呢？

一个系统，大多数系统肯定不是独立存在，肯定存在系统与系统之间的交互，数据的交换，调接口，取别人系统的数据等。而且就算是一个独立的系统，有些数据的更新，可能也不是即时做的，可能在固定的某个点，找到满足条件的某些数据，然后进行更新操作等。

所以说，跑批，可能是跑自己系统的批，也可能是从外部得到数据，进行某些操作。

记得之前在 socket通信和http通信的区别？通信时的数据传输形式中写过不同项目间数据交互的方式 它里面就提到过一个系统把数据提供然后写入到一个文件服务器上，然后另一个系统去文件服务器的指定目录上去读取文件然后取数据，批量更新到自己的数据库。

可能到这里也有人会问，为什么要和其他系统交互呢？那肯定是一个系统做不了那么多东西呀！最开始，是什么东西都放在一个项目里，慢慢的，方便管理，然后项目进行拆分，进行服务化......这就是项目演变的过程，当然肯定是为了提高效率，什么什么的。

跑批为什么要在晚间进行？这是因为晚上使用系统的人比较少，跑批，即是对数据进行数据库操作，无论是把数据从其他系统拿到本系统操作，还是更新本系统的数据，都是会有数据库交互的，晚上的话，既能提高系统白天的使用效率，又能降低同时并发操作数据库数据的风险。

而且，跑批，是没有业务促发的最好触发点。就是某些逻辑并不是点击某个按钮时需要做的，它是某个时候要对数据库数据进行一定的操作，并不存在明确的触发点。当然这种也可以在监听器里配一个轮询，之前也说过监听器，轮询，但是监听器，是让程序一直轮询，这种，会降低系统的性能，占用系统资源，没有必要一直监听，对即时性要求没那么高，这种肯定就选择跑批，而不是轮询。其实轮询里的定时器给定个时，每天跑一次，按理说也是一样的。

不一样的点大概就是专门提一个批量项目，它的启动方式时shell脚本，是java项目，而监听器是web项目吧。

批量-跑批存在的意义相关推荐

大数据平台用于生成数据跑批脚本的脚本(version2.0)
一.脚本文件路径 [hs@master script_generate]$ pwd /home/hs/opt/dw-etl/script_generate [hs@master script_g ...
tidb 企业_TiDB 在马上消费金融核心账务系统归档及跑批业务下的实践
作者介绍: 康文权,马上消费金融总账高级研发工程师. 李银龙,原腾讯云运维工程师,马上消费金融容器云 TiDB 负责人,西南区 TUG Leader. 背景介绍马上消费金融于 2015 年 6 月营 ...
微服务设计指导-使用云原生微服务解决传统海量跑批时引起的系统间“级联雪崩”以及效率
问题描述这也是一起真实的生产事故,如下图所示这种"雪崩"是属于企业内部系统雪崩. 我们都知道如果是在外部http (包括一切restful.soap请求.http类型调用)调用 ...
学习笔记-如何设计离线跑批系统
一.基本概念离线跑批:通常指批量加工数据.完成一系列流程的定时任务. 业务场景:在银行.金融.支付出现较多,其他行业也可能涉及. 1. 定时的数据状态更新(到期失效) 2. 数据计算(计算罚息.计提 ...
每日跑批任务耗时性能从六分钟优化到半分钟历程及总结
话说做了一个产品需求上线后,涉及到有一个每日凌晨七点跑批任务,跑批查询出来的待处理订单也就1100单作用,但是耗时却花费了5~6分钟,虽说跑批中,又调用外部服务,但是仅仅在空闲时间,鉴于此情况我觉得 ...
查询慢跑批慢性能低怎么办？ | 润乾高性能计算专家
完整资料下载: 查询慢.跑批慢.性能低怎么办?| 润乾高性能计算专家
elasticJob分片跑批
2019独角兽企业重金招聘Python工程师标准>>> 业务迅速发展带来了跑批数据量的急剧增加.单机处理跑批数据已不能满足需要,另考虑到企业处理数据的扩展能力,多机跑批势在必行.多机 ...
java跑批任务_【spring配置】——spring整合Quartz定时器
第一种:为普通java类中的某个方法配置跑批任务MethodInvokingJobDetailFactoryBean CronTriggerBean SchedulerFactoryBean 1.定义 ...
【中亦安图】清算/报表/日终跑批程序之性能优化案例（5）
第一章技术人生系列 · 我和数据中心的故事(第五期)-清算/报表/日终跑批程序之性能优化案例(一) 中亦安图 | 2016-02-18 21:40 前言不知不觉,技术人生系列·我和数据中心的故事来 ...

批量-跑批存在的意义

批量-跑批存在的意义相关推荐

最新文章

热门文章