[原创] 浅谈ETL系统架构如何测试？
[原创] 浅谈ETL系统架构如何测试？
来新公司已入职3个月时间，由于公司所处于互联网基金行业，基金天然固有特点，基金业务复杂，基金数据信息众多，基金经理众多等，所以大家可想一下，基民要想赚钱真不容易，首先你要在这么多基金中选一个靠谱的基金经理，想获得一份不错的基金收益，尤如大海捞针，其码我对这个没什么自信。
闲话少说，哪么我们来看看ETL系统架构是咋回事，简单理解ETL就是将数据抽取，数据转换，数据加载的一个过程，其中每个公司都有不同业务，如下图所示：
上图展示了一个典型的ETL系统架构，其中ETL中间还多了一个数据清洗，碰到这样的系统，测试工作如何开展呢?我理下思路，列举一些目前我所在公司对这块的测试实践：
1、首先，必须要对ETL核心处理过程进行测试，要确保数据提取，转换，加载核心处理过程的正确性及完整性；
2、各业务需求点及规则验证是否被正常转化，如：我们要将系统抓取的一些非标的数据进行提取，转换后符合公司自己定义的算法，这块就比较重要，也是公司核心；
3、各业务需求点及规则对时间要求，性能是否可以满足，如：我司系统有这样的需求，对某基金经理，在任职期内，与其他基金经理的业务在10年，3年，1年等不同时间段的回报率等；
4、ETL的测试核心点是数据，诸如数据的准确性，完整性，正确性都应考虑，测试时尤其要多运用等价，边界及异常值等去检查验证，不过建议开发一些测试工具去支持，在实际测试工作中，经常发现数据源抓取的数据不是很完整，有些还是错的，这些都要在内部测试时，进行严谨的检查；
5、数据迁移测试，由于每次系统升级，不得不进行更新，这样会造成新旧数据有可能不一致，我们通常采用迁移一部分生产数据在测试环境，来进行检查验证；
6、数据扩展性容量测试，初期我们对这块重视不够，原以为数据量没哪么多，但经过一段时间积累，发现源数据是非常庞大，所以针对这块我们都会去预估，尽可能按照X10,X20倍等这样的方式进行测试评估。
最后总结下ETL测试其实并不复杂，系统的架构也非常简单，容易理解，难在于测试数据的复杂性构建，数据兼容性，及数据的完整性，我们在测试时碰到的最头疼的问题，主要是这几种，当然最后提一句，ETL系统上线后，必须要有一个好的监控系统配合，否则真是灾难。
[原创] 浅谈ETL系统架构如何测试？相关推荐
- [原创]浅谈移动互联网App兼容性测试
[原创]浅谈移动互联网App兼容性测试 今天要谈的话题,估计各位测试都有感受,移动互联网App兼容性测试,我们到底测试覆盖如何去挑选机型?具体移动App兼容性测试如何开展?是不是应引进像testin这 ...
- 浅谈秒杀系统架构设计
秒杀是电子商务网站常见的一种营销手段. 原则 不要整个系统宕机. 即使系统故障,也不要将错误数据展示出来. 尽量保持公平公正. 实现效果 秒杀开始前,抢购按钮为活动未开始. 秒杀开始时,抢购按钮可以点 ...
- [原创]浅谈我们应招聘应届毕业生做测试吗？
[原创]浅谈我们应招聘应届毕业生做测试吗? 突然有一群人在微信测试经理和总监群中讨论公司要不要招应届生做测试?然后各种大神观点都接踵而来,我发现大家的观点总体上是围绕几点在谈,具体如下: 1.应届生做 ...
- [原创]浅谈持续集成在测试中的应用
[原创]浅谈持续集成在测试中的应用 今天抽空理了下思路,来谈谈持续集成在测试中的应用,关于持续集成的介绍,可以参见我之前写的 浅谈我对持续集成的理解. 闲话少说,简单先介绍下,持续集成在测试中应用的范 ...
- sap 双计量单位_[原创]浅谈MM模块的双计量单位（二）
[原创]浅谈MM模块的双计量单位(二) 本博文为隐身人原创作品,请勿转载. 我们继续按照以下的步骤来执行双计量单位的有关流程. 第一步:切换到批次类的"特性"视图,将我们刚才创建的 ...
- 对计算机辅助英语的看法,浅谈利用计算机辅助英语语言测试
摘要:随着计算机技术不断深入发展,给我们的生活和学习带来了翻天覆地的变化,越来越多的学校利用计算机辅助各学科进行教学,对计算机教学设施的配备与老师掌握计算机技术方法的要求越来越高.尤其是利用计算机进行 ...
- 浅谈SpaceBuilder系统的缓存机制_缓存思想
在前面的文章中也提及到为了提高系统的性能,SpaceBuilder在内部做了大量的工作,而数据缓存就是其中非常高效的处理方式. 我们知道SpaceBuilder采用了多层架构的处理模式,数据通过业务实 ...
- 《浅谈整车SOA架构》终篇：整车SOA系统设计
<浅谈整车SOA架构>终篇:整车SOA系统设计 参考链接: 1.https://zhuanlan.zhihu.com/p/330973653 2.<浅谈整车SOA架构>第1篇: ...
- JAVA如何输出六角形,浅谈 Java 六边形架构
原标题:浅谈 Java 六边形架构 dzone.com/articles/demonstration-of-hexagonal-architecture-in-java 六边形架构首先是一种设计模式, ...
最新文章
- mysql mgr应用场景_悄悄告诉你 MySQL MGR 牛在哪?
- Codeforces Round #333 (Div. 2) C. The Two Routes flyod
- toFixed()方法
- 基于SIFT特征的全景图像拼接
- ASP.NET 4.0 的新特性（2 在WebForm中使用Routing）（翻译）
- 花店橱窗布置（洛谷P1854）（动态规划）
- [傅里叶变换及其应用学习笔记] 二十四. 级联，脉冲响应
- 2万8千张图片如何用python组成一张（简洁明了附源码）
- iOS 中UITableViewController 中tableView 会被状态栏覆盖的问题
- Mac使用VMware、Ubuntu安装配置虚拟机Linux
- 关于最近很火的“快用苹果助手”和“pp助手”使用正版软件闪退问题的说明
- 软考高级 真题 2016年上半年 信息系统项目管理师 论文
- 如何获取目标期刊的参考文献格式模板？
- 数学分析-极值点、拐点
- 一座5g基站造价多少？
- 程序猿、公关狗、设计狮……知道你们年底苦，该去京东生鲜补补了
- 认养农业菜园认租如何助力农业发展？
- C# chart控件实时动态显示数据
- Spring Cloud Gateway源码系列之路由配置加载过程
- 常见的拖垮中小公司技术团队的10宗罪