数据按时间拆开分批处理示例

我现在的问题是有一个大的事实表,已经有数十亿条数据,过来的临时表需要merge进去. 临时表的大小也不确定,可能上十亿也可能只有几百几千万而已.

如果直接让这两个表merge起来,则需要很大的内存来进行处理.所以我就想着把数据进行按时间拆分的处理,然后merge进去,

拆分的条件是如果临时表的数据量大于三亿条,我就按二亿条左右一个批次进行merge.

总体设计完的package是这样的:

1.第一步,获取总的行数,然后分支下去进行判断.d大于三亿则拆分,否则只执行一次.

2.第二步,获取拆分的数据信息,生成开始时间与结束时间列表.因为我访问的数据库是vertica,语法与tsql略有差异.

我的示例vsql如下:

select

min(yearmonthday)::varchar as startdate,

timestampadd(day,1,max(yearmonthday))::varchar as enddate

FROM

(

select

sum(count(*)) over(order by run_strt_ts::timestamp::char(10)) as totalcount,

floor(sum(count(*)) over(order by run_strt_ts::timestamp::char(10))/200000000) as lvl,

run_strt_ts::timestamp::char(10)::timestamp as yearmonthday

from schemaname.tablename

group by run_strt_ts::timestamp::char(10)

) AS A

group by lvl order by lvl

生成类似的结果集:

这一步我使用了一个Execute sql task对象,配置为返回Full Result Set,传递一个object类型的变量接收.

刚开始我的设计不是这样的,我使用dataflowtask,然后里面一个ado.net source 去获取数据,传递给一个记录集destination.但总是报如下的异常:

所以我就改用现在的设计.

3.第三步就是使用一个Foreach look container,传递两个变量去接收返回的startdate与enddate.

接着就简单了,装配tsql,传递给一个Execute sql task 任务.

转载于:https://www.cnblogs.com/huaxiaoyao/p/3683245.html

数据按时间拆开分批处理示例相关推荐

Python实现进度条和时间预估的示例代码
一.前言在python当中可以用进度条来显示工作的进度,比如for循环的进度或者一些模型训练的进度. 很多人学习python,不知道从何学起. 很多人学习python,掌握了基本语法过后,不知道在哪 ...
python图形化进度条代码_Python实现进度条和时间预估的示例代码
一.前言很多人学习python,不知道从何学起. 很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手. 很多已经做案例的人,却不知道如何去学习更加高深的知识. 那么针对这三类人,我 ...
老黄历java_基于聚合数据的老黄历接口调用示例-JAVA版
本文介绍聚合数据的老黄历接口的使用依赖 net.sf.json-lib json-lib 2.2.3 jdk15 代码部分 package com.example.demo; import net. ...
R语言实现金融数据的时间序列分析及建模
R语言实现金融数据的时间序列分析及建模一移动平均移动平均能消除数据中的季节变动和不规则变动.若序列中存在周期变动,则通常以周期为移动平均项数.移动平均法可以通过数据显示出数据长期趋势的变动 ...
python结果输出到excel-python实现数据导出到excel的示例--普通格式
此文是在django框架下编写,从数据库中获取数据使用的是django-orm 用python导出数据到excel,简单到爆!(普通的excel格式) 安装xlwt pip install xlwt ...
python输出数据到excel-python实现数据导出到excel的示例
这篇文章主要介绍了关于python实现数据导出到excel的示例,有着一定的参考价值,现在分享给大家,有需要的朋友可以参考一下此文是在django框架下编写,从数据库中获取数据使用的是django- ...
python输出数据到excel-python实现数据导出到excel的示例--普通格式
此文是在django框架下编写,从数据库中获取数据使用的是django-orm 用python导出数据到excel,简单到爆!(普通的excel格式) 安装xlwt pip install xlwt ...
java8 - 新的时间日期API示例
Java 8之前的库对时间和日期的支持非常不理想,不用担心,在Java 8中引入全新的时间和日期API,并且都是线程安全的新时间日期API常用对象介绍 LocalDate: 表示没有时区的日期, L ...
网游服务端php5.1时间戳格式化,php格式化时间戳显示友好时间的简单示例
这篇文章主要为大家详细介绍了php格式化时间戳显示友好时间的简单示例,具有一定的参考价值,可以用来参考一下. 感兴趣的小伙伴,下面一起跟随512笔记的小玲来看看吧! 在项目中时间一律显示为2014-1 ...

数据按时间拆开分批处理示例

数据按时间拆开分批处理示例相关推荐

最新文章

热门文章