Kettle使用_13 表输入并发运行与复制数量

需求: 通过并行方式完成事实表sales_fact_1998（该表有约16万条记录）到文本的输出。

解决方法：结合表输入和文件文本输出组件解决，这里需要同时设置表输入、文本文件输出组件的复制数量。

Previous work:

准备FoodMart数据库并初始化数据。其中建表语句(以Mysql为例)见下：

CREATE TABLE `sales_fact_1998` (`product_id` int(11) NOT NULL,`time_id` int(11) NOT NULL,`customer_id` int(11) NOT NULL,`promotion_id` int(11) NOT NULL,`store_id` int(11) NOT NULL,`store_sales` decimal(10,4) NOT NULL,`store_cost` decimal(10,4) NOT NULL,`unit_sales` decimal(10,4) NOT NULL,KEY `i_sls_98_cust_id` (`customer_id`),KEY `i_sls_1998_prod_id` (`product_id`),KEY `i_sls_1998_promo` (`promotion_id`),KEY `i_sls_1998_store` (`store_id`),KEY `i_sls_1998_time_id` (`time_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

完整的数据（含建表语句）见下：

链接：https://pan.baidu.com/s/1RcW1i-U3PD64t3r28SmqJg

提取码：6yee

Step1：新建个转换。

Step2：找到表输入组件，该组件在转换里的输入分类下。

Step3：配置标输入组件，这里读取表里所有数据。

Step4：拖文本文件输出组件到转换里。

Step5：通过SHIFT连接表输入组件和文本文件输出组件,选择主输出步骤。

Step6：配置文本文件输出组件。

Step7：同时配置表输入组件和文本文件输出组件的复制数量，这里都设置为4。

完整流程示意:

Step8：运行验证。

Kettle使用_13 表输入并发运行与复制数量相关推荐

Kettle使用_12 CSV文件仅并发运行与复制数量
Kettle使用_12 CSV文件仅并发运行与复制数量需求: 通过并行方式完成customers-100.txt(该文件有2.4万条记录)的文本输出. 解决方法:结合CSV文本输入和文件文本输出组件 ...
KETTLE中Excel表输入
KETTLE中Excel表输入在选定好Excel文件输入功能模块后,我们将其拖入到转换页面当中双击Excel输入,进入到参数的配置界面在这配置页面我们可以看到有Excel文件的版本选项,和路径选 ...
kettle spoon中“表输入”到“表输出”的乱码问题
2019独角兽企业重金招聘Python工程师标准>>> 数据库中的数据在不同的数据库中转换来装换去,由于不同库可能使用了不同的字符集,所以可能导致结果数据乱码问题.此次是在一个作业中 ...
kettle 表输入显示重复_表输入插件详解
表输入步骤用于将数据源的数据加载到Kettle转换中的行集,可以说是数据从持久化到内存的一种加载变换,故名为输入.加载内部过程,就是通过JDBC连接到数据源执行SQL语句,将返回结果解析为行集,传递给 ...
Kettle使用_5 结合js的数据处理与SetVariable设置动态表输入
JavaScript JS数据处理JS的SetVariable设置参数结合动态表输入替换需求:熟悉JS脚本在kettle数据处理的应用解决方法:结合Generate Rows(数据生成)和Java ...
kettle [表输入]选择Oracle数据源时预览错误--需要指定一个数据库连接.、错误初始化步骤[表输入 2]、Caused by: java.sql.SQLException: ORA-0091
错误产生环境使用kettle [输入-表输入-数据源为Oracel 时] 预览出现错误错误描述 2022/10/10 16:53:39 - 表输入 2.0 - at org.pentaho.di. ...
kettle分批处理大表数据_Kettle大量数据快速导出的解决方案（利用SQL导出百万级数据，挺快的）...
org.apache.commons commons-vfs2 2.0 org.scannotation scannotation 1.0.3 dom4j dom4j 1.6.1 pentaho-ke ...
kettle分批处理大表数据_kettle-批量同步表数据
一.实验目标利用kettle实现从mysql数据库中的dbf库批量同步表到dbm库(全量同步) 二.实验环境 dbf 库中表f1.f2.f3 .f1中1条数据,f2中100条数据,f3中2条数据 ...
操作系统实验报告7：进程间通信—共享内存。实现一个带有n个单元的线性表的并发维护。
操作系统实验报告7 实验内容实验内容:进程间通信-共享内存.实现一个带有n个单元的线性表的并发维护. 建立一个足够大的共享内存空间(lock, M),逻辑值lock用来保证同一时间只有一个进程进入M ...

Kettle使用_13 表输入并发运行与复制数量

Kettle使用_13 表输入并发运行与复制数量

Kettle使用_13 表输入并发运行与复制数量相关推荐

最新文章

热门文章