kettle案例-数据仓库

一.加载演员数据至演员维度表

首先准备好actor数据表和空表dim_actor：

1.打开kettle工具，创建load_dim_actor转换

2.配置“表输入”控件
首先单击“新建”配置数据库连接，配置完成后在SQL输入框中输入以下语句：

select
coalesce(max(actor_last_update),"1970-01-01 00:00:00")
as max_dim_actor_last_update
from dim_actor;

单击“预览”按钮查看字段，如下图所示：

3.配置“表输入2”控件
首先单击“新建”配置数据库连接，配置完成后在SQL输入框中输入以下语句：

select
actor_id,
first_name,
last_name,
last_update
from actor where last_update > ?

在“从步骤输入数据”选择“表输入”，配置完成后如下所示：

4.配置“插入/更新”控件
（1）双击该控件进入该界面之后单击“新建”按钮配置数据库连接；配置完成后单击目标表右侧的“浏览”按钮，选择目标表，即维度表“dim_actor”，如下图所示：

（2）单击“获取字段”按钮，指定查询数据需要的关键字，这里选择的是维度表dim_actor中的actor_id字段和输入流里的actor_id字段；单击“获取和更新字段”按钮，指定需要更新的字段，然后单击“确定”按钮完成配置，如下图所示：

5.运行转换load_dim_actor

从执行结果的“步骤度量”可以看出，“表输入”控件输入1条数据并写入该控件；“表输入2”控件输入200条数据，并从“表输入”控件中读取1条数据，写入该控件200条数据；“插入/更新”控件输入200条数据，并从“表输入2”控件中读取200条数据，写入该控件200条数据，最终进行输出。

6.查看维度表dim_actor中的数据

二.加载电影数据至电影维度表

首先准备好数据表film数据表和空表dim_film_actor_bridge以及空表dim_film：

1.打开kettle工具，创建load_dim_film转换

2.配置“表输入”控件
首先单击“新建”配置数据库连接，配置完成后在SQL输入框中输入以下语句：

select
coalesce(max(film_last_update),"1970-01-01 00:00:00")
as max_dim_film_last_update
from dim_film;

单击“预览”按钮查看字段，如下图所示：

3.配置“表输入2”控件
首先单击“新建”配置数据库连接，配置完成后在SQL输入框中输入以下语句：

select
film_id,
title,
description,
CAST(release_year AS UNSIGNED)AS release_year,
language_id,
original_language_id
rental_duration,
rental_rate,
length,
replacement_cost,
rating,
special_features,
last_update
from film where last_update > ?

在“从步骤输入数据”选择“表输入”，配置完成后如下所示：

4.配置“数据库查询”控件
（1）双击进入该控件界面之后单击“新建”按钮配置数据库连接；单击表名后的“浏览”按钮，添加数据表language，用于查询电影的语言，如下图所示：

（2）在“查询所需的关键字”框中添加查询所需的关键字字段language_id，用于指定表字段和流字段的比较条件；在“查询表返回的值”框中添加查询表返回的字段name，并重命名为language，然后单击“确定”按钮完成配置，如下图所示：

5.配置“数据库查询2”控件
双击进入该控件界面之后单击“新建”按钮配置数据库连接；单击表名后的“浏览”按钮，添加数据表language，用于查询电影原版的语言;在“查询所需的关键字”框中添加查询所需的关键字字段language_id和original_language，用于指定表字段和流字段的比较条件；在“查询表返回的值”框中添加查询表返回的字段name，并重命名为original_language，若对于电影原版语言为Null值，则设置默认值为Not Applicable，然后单击“确定”按钮完成配置，如下图所示：

6.配置“值映射”控件
进入“值映射”界面，在“使用的字段名”后的下拉列表中选择字段rating，指定对电影级别的字段rating进行映射；在“目标字段名（空=覆盖）”处添加rating_text字段，用于存储目标值；在“字段值”框中添加源值和目标值，其中，源值为G、PG、PG-13、R、NC-17，这些均为美国电影分级级别的简称，对应的目标值为General Audiences、Parental Guidance Suggested、Parents Strongly Cautioned、Restricted、No One Under 17 Admitted，如下图所示：

7.配置“列拆分为多行”控件
进入“列拆分为多行”界面，由于special_features字段表示的是电影的特点，而电影的特点有多个，因此要进行拆分；在“要拆分的字段”后的下拉列表中选择要拆分的字段special_features；在“分隔符”处指定分隔符“，”；在“新字段名”框中添加新的字段名，用于存放利用分隔符分隔后的数据，如下图所示：

8.配置“增加常量”控件
进入“增加常量”界面，在“字段”框中添加常量字段Yes和No，并指定值为Yes和No，用于后续判断某电影是否有预告片、是否有评论、是否删减片段以及是否有幕后等内容，若有，则用Yes标识，反之用No标识，如下图所示：

9.配置“列转行”控件
进入“列转行”界面，在“关键字段”后的下拉列表中选择关键字段special_feature，由于字段special_feature中包含一个或多个内容，因此需要对字段special_feature进行列转行操作；在“构成分组的字段”框中添加分组字段；在“目标字段”框中添加目标字段，如下图所示：

10.配置“计算器”控件
进入“计算器”界面，在“字段”处添加新字段，用于存储将“列转行”控件流中的字段special_feature的NULL值替换成No的数据，(其中，NVL(A，B)的含义是实现将字段A中的空值替换成字段B(即No))，单击“确定”按钮完成配置，如下图所示：

11.配置“数据库连接”控件
进入Database join界面，单击“新建”按钮配置数据库连接，然后在SQL框中编写如下SQL语句，用于根据电影id获取电影的分类：

select category_id
from film_category
where film_id = ?

在The parameters to use框中添加编写SQL语句需要的参数，即file_id，“计算器”控件流中的字段file_id作为参数进行传递，供“数据库连接”控件使用，单击“确定”完成配置，如下图所示：

12.配置“数据库查询3”控件
（1）双击进入该控件界面之后单击“新建”按钮配置数据库连接；单击表名后的“浏览”按钮，添加数据表category，用于获取电影分类的id，在“查询所需的关键字”框中添加查询所需的关键字字段category_id，用于指定表字段和流字段的比较条件；在“查询表返回的值”框中添加查询表返回的值，即name，并重命名为category，然后单击“确定”按钮完成配置，如下图所示：

13.配置“增加常量2”控件
进入“增加常量”界面，在“字段”框中添加常量字段Yes，由于在“增加常量”控件中设置的常量Yes已经被替换，所以需要添加一个常量，如下图所示：

14.配置“列转行2”控件
进入“列转行”界面，在“关键字字段”后的下拉列表中选择关键字段category，根据电影分类的名称对电影进行分类；在“构成分组的字段”框中添加分组字段；在“目标字段”框中添加目标字段，如下图所示：

15.配置“计算器2”控件
在“字段”处添加新字段，用于将“列转行2”控件流中字段category中的NULL值替换成No，如下图所示：
16.配置“联合查询/更新”控件
进入该界面首先单击“新建”按钮配置数据库连接，再单击目标表右侧的“浏览”按钮，选择目标表，即维度表dim_film，用于加载最新的电影维度数据，再“代理关键字”框中添加代理关键字段，并指定创建代理键为自增字段；再“关键字段”框中添加维度字段和流里的字段，然后单击“确定”按钮，完成配置，如下图所示：

17.配置“数据库连接2”控件
进入Database join界面，配置数据库连接，然后在SQL框中编写如下SQL语句：

select actor_id
from film_actor
where film_id = ?

用于根据电影id获取演员的id，从而获取演员的基本信息；在The parameters to use框中添加需要的参数，即film_id，如下图所示：

18.配置“数据库查询4”控件
首先配置数据库连接，单击“浏览”按钮，添加维度表dim_actor，用于获取演员的基本信息；在“查询所需的关键字”框中添加查询所需的关键字字段actor_id，用于指定表字段和流字段的比较条件；在“查询表返回的值”框中添加查询表返回的值，如下图所示：

19.配置“分组”控件
进入“分组”界面，在“构成分组的字段”框中添加分组字段film_key，对“数据库查询4”控件流中的数据按字段film_key进行分组；在“聚合”框中添加聚合字段count_actors，用于统计出演某部电影的演员个数，如下图所示：

20.配置“计算器3”控件
进入“计算器”界面，在“字段”处添加新字段one和actor_weighting_factor，其中字段one为自定义的常量，指定值为1，是一个临时值，可移除；字段actor_weighting_factor用于存储演员的权重因子，如下图所示：

21.配置“流查询”控件
进入该界面后在Lookup step后的下拉列表中选择要查询的流，即“计算器3”控件流；在“查询值所需的关键字”处添加用于查询流里值的字段，即file_key，通过使用“数据库查询4”控件中的字段film_key去“计算器3”控件流中匹配相应的数据；在“指定用来接收的字段”框中添加用来接收值的字段actor_weighting_factor，如下图所示：

22.配置“插入/更新”控件
进入该界面后单击“新建”按钮配置数据库连接；单击目标表右侧的“浏览”按钮，弹出“数据库浏览器”窗口，选择目标表，即维度表dim_film_actor_bridge；单击“获取字段”按钮，用来指定查询数据需要的关键字；单击“获取和更新字段”按钮，用来指定需要更新的字段。“插入/更新”控件用于通过比较流与表中字段的数据，更新维度表dim_film_actor_bridge中的数据，如下图所示：

23.运行转换load_dim_film

24.查看维度表dim_film和dim_film_actor_bridge中的数据