6.3数据粒度的转换
目录
摘要
一.案例介绍
二.数据准备
建表
三.建立转换1添加组件
四.配置控件
4.1.配置“表输入”控件
4.2.配置“字段选择”控件
4.3.配置“排序记录”控件
4.4.配置“表输入2”控件
4.5.配置“排序记录2”控件
4.6.配置“记录集连接”控件
4.7.配置“字段选择2”控件
4.8.配置“排序记录3”控件
4.9.配置“表输入3”控件
4.10.配置“排序记录4”控件
4.11.配置“记录集连接2”控件
4.12.配置“过滤记录”控件
4.13.配置“字段选择3”控件
4.14.配置“字段选择4”控件
4.15.配置“表输出”控件
4.16.配置“表输入2”控件
五.配置完成并运行
六.建立转换2添加控件
编辑七.配置控件
7.1配置“表输入”控件
7.2配置“字段选择”控件
7.3配置“排序记录”控件
7.4配置“表输入2”控件
7. 5配置“字段选择2”控件
7.6配置“排序记录2”控件
7.7配置“记录集连接”控件
7.8配置“字段选择3”控件
7.9配置“表输出”控件
八.配置完成运行
摘要
业务系统一般存储非常明细的数据，而数据仓库中数据是用来分析的，不需要非常明细的数据。一般情况下，会将业务系统数据按照数据仓库粒度进行聚合，这个过程就被称为数据粒度的转换。例如，将城市转换成省份或者直辖市。
一.案例介绍
业务系统一般存储非常明细的数据，而数据仓库中数据是用来分析的，不需要非常明细的数据。一般情况下，会将业务系统数据按照数据仓库粒度进行聚合，这个过程就被称为数据粒度的转换。例如，将城市转换成省份或者直辖市。
二.数据准备
A公司的日手机销售情况中的销售区域是市级，而B公司的日手机销售情况中的销售区域是省级，A公司和B公司的日手机销售情况合并后存储在数据表company中，通过仔细观察数据表company中字段为salesArea的一列，发现该列既包含市级也包含省级。
注：此案例实现过程需建立两个转换实现，在文章中用转换1和转换2来命名
两个转换都需连接数据库，提前连接好数据库会减少一些麻烦！！
建表
company_new表：
create table `company_new` (`id` INT,`salesArea` varchar (150),`brand` varchar (150),`model` varchar (150),`unitPrice` varchar (150),`number` INT
); temporary表:
CREATE TABLE `temporary` (`id` int DEFAULT NULL,`salesArea` varchar(150) DEFAULT NULL
);provincial表：
CREATE TABLE `provincial` (`pid` INT NOT NULL,`Provincial` varchar(50) DEFAULT NULL,PRIMARY KEY (`pid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;/*Data for the table `provincial` */insert into `provincial`(`pid`,`Provincial`) values (1,'北京市'),(2,'天津市'),(3,'上海市'),(4,'重庆市'),(5,'河北省'),(6,'山西省'),(7,'台湾省'),(8,'辽宁省'),(9,'吉林省'),(10,'黑龙江省'),(11,'江苏省'),(12,'浙江省'),(13,'安徽省'),(14,'福建省'),(15,'江西省'),(16,'山东省'),(17,'河南省'),(18,'湖北省'),(19,'湖南省'),(20,'广东省'),(21,'甘肃省'),(22,'四川省'),(23,'贵州省'),(24,'海南省'),(25,'云南省'),(26,'青海省'),(27,'陕西省'),(28,'广西壮族自治区'),(29,'西藏自治区'),(30,'宁夏回族自治区'),(31,'新疆维吾尔自治区'),(32,'内蒙古自治区'),(33,'澳门特别行政区'),(34,'香港特别行政区');city表：
CREATE TABLE `city` (`cid` int(11) NOT NULL,`city` varchar(50) NOT NULL,`pid` int(11) DEFAULT NULL,PRIMARY KEY (`city`),KEY `pid` (`pid`),CONSTRAINT `city_ibfk_1` FOREIGN KEY (`pid`) REFERENCES `provincial` (`pid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;/*Data for the table `city` */insert into `city`(`cid`,`city`,`pid`) values (10,'七台河市',10),(7,'万宁市',24),(2,'三亚市',24),(4,'三明市',14),(12,'三门峡市',17),(1,'上海市',3),(11,'上饶市',15),(8,'东方市',24),(17,'东莞市',20),(5,'东营市',16),(5,'中卫市',30),(18,'中山市',20),(13,'临夏回族自治州',21),(10,'临汾市',6),(13,'临沂市',16),(8,'临沧市',25),(12,'临高县',24),(6,'丹东市',8),(11,'丽水市',12),(6,'丽江市',25),(9,'乌兰察布市',32),(3,'乌海市',32),(21,'乌苏市',31),(1,'乌鲁木齐市',31),(15,'乐东黎族自治县',24),(10,'乐山市',22),(4,'九江市',15),(16,'云林县',7),(21,'云浮市',20),(6,'五家渠市',31),(3,'五指山市',24),(15,'亳州市',13),(13,'仙桃市',18),(7,'伊 春 市',10),(18,'伊宁市',31),(6,'佛山市',20),(9,'佳木斯市',10),(17,'保亭黎族苗族自治县',24),(6,'保定市',5),(4,'保山市',25),(15,'信阳市',17),(5,'儋州市',24),(2,'克拉玛依市',31),(14,'六安市',13),(2,'六盘水市',23),(1,'兰州市',21),(11,'兴安盟',32),(9,'内江市',22),(21,'凉山彝族自治州',22),(2,'包头市',32),(1,'北京市',1),(5,'北海市',28),(3,'十堰市',18),(1,'南京市',11),(11,'南充市',22),(1,'南宁市',28),(7,'南平市',14),(15,'南投县',7),(1,'南昌市',15),(6,'南通市',11),(13,'南阳市',17),(17,'博乐市',31),(2,'厦门市',14),(4,'双鸭山市',10),(22,'台东县',7),(13,'台中县',7),(4,'台中市',7),(8,'台北县',7),(1,'台北市',7),(18,'台南县',7),(5,'台南市',7),(10,'台州市',12),(1,'合肥市',13),(8,'吉安市',15),(2,'吉林市',9),(7,'吐鲁番市',31),(11,'吕梁市',6),(3,'吴忠市',30),(16,'周口市',17),(7,'呼伦贝尔市',32),(1,'呼和浩特市',32),(11,'和田市',31),(11,'咸宁市',18),(4,'咸阳市',27),(10,'哈密市',31),(1,'哈尔滨市',10),(2,'唐山市',5),(14,'商丘市',17),(10,'商洛市',27),(9,'喀什市',31),(17,'嘉义县',7),(7,'嘉义市',7),(4,'嘉兴市',12),(5,'嘉峪关市',21),(3,'四平市',9),(4,'固原市',30),(5,'图木舒克市',31),(3,'基隆市',7),(20,'塔城市',31),(6,'大 庆 市',10),(13,'大兴安岭地区',10),(2,'大同市',6),(13,'大理白族自治州',25),(2,'大连市',8),(4,'天水市',21),(1,'天津市',2),(14,'天门市',18),(1,'太原市',6),(19,'奎屯市',31),(10,'威海市',16),(13,'娄底市',19),(9,'孝感市',18),(9,'宁德市',14),(2,'宁波市',12),(8,'安庆市',13),(9,'安康市',27),(5,'安阳市',17),(4,'安顺市',23),(10,'定安县',24),(11,'定西市',21),(9,'宜兰县',7),(13,'宜宾市',22),(5,'宜昌市',18),(9,'宜春市',15),(3,'宝鸡市',27),(17,'宣城市',13),(12,'宿州市',13),(13,'宿迁市',11),(20,'屏东县',7),(11,'屯昌县',24),(4,'山南地区',29),(6,'岳阳市',19),(14,'崇左市',28),(13,'巢湖市',13),(17,'巴中市',22),(8,'巴彦淖尔市',32),(4,'常州市',11),(7,'常德市',19),(8,'平凉市',21),(4,'平顶山市',17),(7,'广元市',22),(14,'广安市',22),(1,'广州市',20),(10,'庆阳市',21),(13,'库尔勒市',31),(10,'廊坊市',5),(6,'延安市',27),(9,'延边朝鲜族自治州',9),(2,'开封市',17),(7,'张家口市',5),(8,'张家界市',19),(7,'张掖市',21),(14,'彰化县',7),(3,'徐州市',11),(14,'德宏傣族景颇族自治州',25),(14,'德州市',16),(5,'德阳市',22),(9,'忻州市',6),(12,'怀化市',19),(15,'怒江傈傈族自治州',25),(7,'思茅市',25),(17,'恩施土家族苗族自治州',18),(11,'惠州市',20),(1,'成都市',22),(10,'扬州市',11),(8,'承德市',5),(10,'抚州市',15),(4,'抚顺市',8),(1,'拉萨市',29),(20,'揭阳市',20),(3,'攀枝花市',22),(9,'文山壮族苗族自治州',25),(6,'文昌市',24),(7,'新乡市',17),(5,'新余市',15),(11,'新竹县',7),(6,'新竹市',7),(2,'无锡市',11),(5,'日喀则地区',29),(11,'日照市',16),(1,'昆明市',25),(14,'昌吉市 ',31),(14,'昌江黎族自治县',24),(3,'昌都地区',29),(5,'昭通市',25),(7,'晋中市',6),(5,'晋城市',6),(2,'景德镇市',15),(2,'曲靖市',25),(6,'朔州市',6),(13,'朝阳市',8),(5,'本溪市',8),(13,'来宾市',28),(1,'杭州市',12),(7,'松原市',9),(7,'林芝地区',29),(6,'果洛藏族自治州',26),(4,'枣庄市',16),(2,'柳州市',28),(2,'株洲市',19),(3,'桂林市',28),(10,'桃园县',7),(12,'梅州市',20),(4,'梧州市',28),(12,'楚雄彝族自治州',25),(8,'榆林市',27),(6,'武威市',21),(1,'武汉市',18),(6,'毕节地区',23),(11,'永州市',19),(7,'汉中市',27),(4,'汕头市',20),(13,'汕尾市',20),(7,'江门市',20),(16,'池州市',13),(1,'沈阳市',8),(9,'沧州市',5),(12,'河池市',28),(14,'河源市',20),(5,'泉州市',14),(9,'泰安市',16),(12,'泰州市',11),(4,'泸州市',22),(3,'洛阳市',17),(1,'济南市',16),(8,'济宁市',16),(18,'济源市',17),(2,'海东地区',26),(3,'海北藏族自治州',26),(5,'海南藏族自治州',26),(1,'海口市',24),(8,'海西蒙古族藏族自治州',26),(3,'淄博市',16),(6,'淮北市',13),(4,'淮南市',13),(8,'淮安市',11),(2,'深圳市',20),(16,'清远市',20),(3,'温州市',12),(5,'渭南市',27),(5,'湖州市',12),(3,'湘潭市',19),(14,'湘西土家族苗族自治州',19),(8,'湛江市',20),(10,'滁州市',13),(16,'滨州市',16),(11,'漯河市',17),(6,'漳州市',14),(7,'潍坊市',16),(15,'潜江市',18),(19,'潮州市',20),(9,'澄迈县',24),(21,'澎湖县',7),(1,'澳门特别行政区',33),(9,'濮阳市',17),(6,'烟台市',16),(8,'焦作市',17),(8,'牡丹江市',10),(9,'玉林市',28),(7,'玉树藏族自治州',26),(3,'玉溪市',25),(3,'珠海市',20),(18,'琼中黎族苗族自治县',24),(4,'琼海市',24),(14,'甘南藏族自治州',21),(20,'甘孜藏族自治州',22),(8,'白城市',9),(6,'白山市',9),(13,'白沙黎族自治县',24),(3,'白银市',21),(10,'百色市',28),(9,'益阳市',19),(9,'盐城市',11),(11,'盘锦市',8),(12,'眉山市',22),(2,'石嘴山市',30),(1,'石家庄市',5),(3,'石河子市 ',31),(16,'神农架林区',18),(1,'福州市',14),(3,'秦皇岛市',5),(16,'米泉市',31),(10,'红河哈尼族彝族自治州',25),(6,'绍兴市',12),(12,'绥 化 市',10),(6,'绵阳市',22),(15,'聊城市',16),(10,'肇庆市',20),(2,'自贡市',22),(9,'舟山市',12),(2,'芜湖市',13),(23,'花莲县',7),(5,'苏州市',11),(12,'苗栗县',7),(9,'茂名市',20),(4,'荆州市',18),(8,'荆门市',18),(3,'莆田市',14),(12,'莱芜市',16),(17,'菏泽市',16),(3,'萍乡市',15),(8,'营口市',8),(14,'葫芦岛市',8),(3,'蚌埠市',13),(11,'衡水市',5),(4,'衡阳市',19),(8,'衢州市',12),(6,'襄樊市',18),(11,'西双版纳傣族自治州',25),(1,'西宁市',26),(1,'西安市',27),(10,'许昌市',17),(8,'贵港市',28),(1,'贵阳市',23),(11,'贺州市',28),(18,'资阳市',22),(7,'赣州市',15),(4,'赤峰市',32),(4,'辽源市',9),(10,'辽阳市',8),(15,'达州市',22),(8,'运城市',6),(7,'连云港市',11),(16,'迪庆藏族自治州',25),(5,'通化市',9),(5,'通辽市',32),(8,'遂宁市',22),(3,'遵义市',23),(5,'邢台市',5),(2,'那曲地区',29),(4,'邯郸市',5),(5,'邵阳市',19),(1,'郑州市',17),(10,'郴州市',19),(6,'鄂尔多斯市',32),(7,'鄂州市',18),(9,'酒泉市',21),(1,'重庆市',4),(7,'金华市',12),(2,'金昌市',21),(7,'钦州市',28),(12,'铁岭市',8),(5,'铜仁地区',23),(2,'铜川市',27),(7,'铜陵市',13),(1,'银川市',30),(10,'锡林郭勒盟',32),(7,'锦州市',8),(11,'镇江市',11),(1,'长春市',9),(1,'长沙市',19),(4,'长治市',6),(15,'阜康市',31),(9,'阜新市',8),(11,'阜阳市',13),(6,'防城港市',28),(15,'阳江市',20),(3,'阳泉市',6),(8,'阿克苏市',31),(22,'阿勒泰市',31),(12,'阿图什市',31),(19,'阿坝藏族羌族自治州',22),(12,'阿拉善盟',32),(4,'阿拉尔市',31),(6,'阿里地区',29),(12,'陇南市',21),(16,'陵水黎族自治县',24),(12,'随州市',18),(16,'雅安市',22),(2,'青岛市',16),(3,'鞍山市',8),(5,'韶关市',20),(1,'香港特别行政区',34),(5,'马鞍山市',13),(17,'驻马店市',17),(19,'高雄县',7),(2,'高雄市',7),(5,'鸡 西 市',10),(3,'鹤 岗 市',10),(6,'鹤壁市',17),(6,'鹰潭市',15),(10,'黄冈市',18),(4,'黄南藏族自治州',26),(9,'黄山市',13),(2,'黄石市',18),(11,'黑 河 市',10),(8,'黔东南苗族侗族自治州',23),(9,'黔南布依族苗族自治州',23),(7,'黔西南布依族苗族自治州',23),(2,'齐齐哈尔市',10),(8,'龙岩市',14);三.建立转换1添加组件
四.配置控件
4.1.配置“表输入”控件
双击进入配置页面，点击获取SQL查询语句，选择表company，点击预览
4.2.配置“字段选择”控件
双击进入配置页面，在选择/修改选项里手动添加id、salesArea两个字段
4.3.配置“排序记录”控件
双击进入配置页面，选择salesArea字段进行升序排序
4.4.配置“表输入2”控件
双击进入配置页面，输入下方SQL语句，点击预览
SELECT city,pid FROM city;4.5.配置“排序记录2”控件
双击进入配置页面，选择city字段进行升序排序
4.6.配置“记录集连接”控件
双击进入配置页面，第一个步骤选择排序记录，第二个步骤选择排序记录2，连接方式选择LEFT OUTER，第一步骤连接字段 添加salesArea，第二步骤连接字段添加city
4.7.配置“字段选择2”控件
双击进入配置页面，在选择/修改选项中添加id、pid、salesArea三个字段
.
4.8.配置“排序记录3”控件
双击进入配置页面，选择pid字段进行升序排序
4.9.配置“表输入3”控件
双击进入配置页面，输入下方SQL语句，点击预览
SELECTpid
, Provincial
FROM provincial4.10.配置“排序记录4”控件
双击进入配置页面，选择pid字段进行升序排序
4.11.配置“记录集连接2”控件
双击进入配置页面，第一个步骤选择排序记录3，第二个步骤选择排序记录4，连接方式选择LEFT OUTER，第一个步骤连接字 段和第二个步骤连接字段都选择pid
4.12.配置“过滤记录”控件
双击进入配置页面，true数据发给空操作控件，false数据发给空操作2控件，条件如下图：
4.13.配置“字段选择3”控件
双击进入配置页面，在选择/修改选项中添加id、Provincial字段
4.14.配置“字段选择4”控件
双击进入配置页面，在选择/修改选项中添加id、salesArea字段
4.15.配置“表输出”控件
双击进入配置页面，选择目标表temporary，勾选指定数据库字段，在数据库字段选项中，添加映射字段
4.16.配置“表输入2”控件
双击进入配置页面，选择目标表temporary，勾选指定数据库字段，在数据库字段选项中，添加映射字段
五.配置完成并运行
运行结果：
表输出：
表输出2：
temporary表(共40条数据)：
六.建立转换2添加控件
七.配置控件
7.1配置“表输入”控件
双击进入配置页面，输入以下SQL语句，点击预览
SELECTid
, salesArea
FROM temporary
7.2配置“字段选择”控件
双击进入配置页面，在选择/修改选项中添加id、salesArea字段
7.3配置“排序记录”控件
双击进入配置页面，添加id字段进行升序排序
7.4配置“表输入2”控件
双击进入配置页面，输入下方查询语句，点击预览
SELECT * FROM company
7. 5配置“字段选择2”控件
双击进入配置页面，点击右侧获取选择的字段，添加以下字段
7.6配置“排序记录2”控件
双击进入配置页面，选择id字段进行升序排序
7.7配置“记录集连接”控件
双击进入配置页面，第一个步骤选择排序记录，第二个步骤选择排序记录2,连接方式选择FULL OUTER，第一个步骤连接字段 和第二个步骤连接字段都选择id
7.8配置“字段选择3”控件
双击进入配置页面，点击右侧获取选择的字段，添加以下字段
7.9配置“表输出”控件
双击进入配置页面，选择目标表company_new表，勾选指定数据库字段，点击获取字段，添加字段
八.配置完成运行
6.3数据粒度的转换相关推荐
- pythoncsv格式清洗与转换_数据预处理-清洗转换
当数据质量校验完成后,针对有问题的数据要进行的是数据清洗和转换,另外还包括对正常数据的转换.数据清洗的主要作用包括:纠正错误.删除重复项.统一规格.修正逻辑.转换构造和数据压缩. 1. 纠正错误 错误 ...
- R语言dataframe数据列格式转换（从整型integer转化为浮点型float）
R语言dataframe数据列格式转换(从整型integer转化为浮点型float) 目录 R语言dataframe数据列格式转换(从整型integer转化为浮点型float)
- 关于Laravel中使用response()方法调用json()返回数据unicode编码转换的问题解决
关于Laravel中使用response()方法调用json()返回数据unicode编码转换的问题解决 参考文章: (1)关于Laravel中使用response()方法调用json()返回数据un ...
- matlab int8 矩阵,unit8_matlab数据类型转换——int8转换成unit8
在一个驱动程序中看到uint16,uint32,unit8,int8... uint16 :无符号16bit整数, uint32:无符号32bit整数, unit8:无符号8bit整数, int8:有 ...
- 矢量切片_数据粒度均衡的二维矢量瓦片构建方法
作 者 信 息 应 申1,2,王子豪1,杜志强3,丁火平4, 李翔翔4 (1. 武汉大学 资源与环境科学学院,湖北 武汉 430079:2. 自然资源部城市国土资源监测与仿真重点实验室,广东 深圳 5 ...
- node 16位 转24位_C代码实现16位和32位数据字节序转换
点击上方公众号名称关注,获得更多内容 ✎ 编 者 悟 语 每天给自己一个存在的意识,这样才会有一颗认真的心. 文 章 导 读 今天给大家用C代码实现下大小端字节序的转换代码,感谢的小伙伴可以拿下来撸一 ...
- 背水一战 Windows 10 (20) - 绑定: DataContextChanged, UpdateSourceTrigger, 对绑定的数据做自定义转换...
背水一战 Windows 10 (20) - 绑定: DataContextChanged, UpdateSourceTrigger, 对绑定的数据做自定义转换 原文:背水一战 Windows 10 ...
- 非整数倍数数据位宽转换8to12
非整数倍数数据位宽转换8to12 题目描述 实现数据位宽转换电路,实现8bit数据输入转换为12bit数据输出.其中,先到的数据应置于输出的高bit位. 电路的接口如下图所示.valid_in用来指示 ...
- 使用函数实现数据大小端转换
使用函数实现数据大小端转换 题目描述 在数字芯片设计中,经常把实现特定功能的模块编写成函数,在需要的时候再在主模块中调用,以提高代码的复用性和提高设计的层次,分别后续的修改. 请用函数实现一个4bit ...
最新文章
- 数据结构:复杂度分析以及数据结构整体概览
- Yii2的深入学习--yii\base\Object 类
- 【NLP】文本分类综述 （上）
- 成为程序员ing日记
- java 控制台输入字符串_Java控制台输入字符串及字符串比较
- OpenJudge NOI 1.7 14:大小写字母互换
- C#LeetCode刷题之#48-旋转图像（Rotate Image）
- arcgispython空间插值_基于python的空间距离权重计算——arcgis中的arcpy
- 软件工程-团队作业1
- “.中国”域名！小米有新网址了：纯汉字 输网址更方便了
- php post获取dvi,如何利用http来发送post请求
- http请求中get和post方法的区别
- Spring Boot接口返回的字段名和实体类中定义的字段名不一致
- 自定义网页头部前面小图标
- 智能家居有线系统KNX的介绍
- 15分钟搭建自己的博客
- Java练习——删库跑路（定时器删除文件夹）
- Spark核心之top、take和takeOrdered
- 带三维团队半年的一点总结和想法
- 蓝牙耳机怎么挑选？鹏鹏数码盘点2023口碑蓝牙耳机排行榜