测试总结——大数据测试

大数据系统测试主要包括功能、基准、安全和可靠性测试。功能测试主要是对数据的采集和传输、数据的存储和管理、数据计算、数据的查询和分析，以及数据的可视化等功能的测试。基准测试主要用于对比和评估大数据框架组件的性能指标等。大数据应用产品，典型的有BI报表、数据分析平台等。构建大数据应用产品通常依赖数据仓库和ETL过程。

大数据测试类型
按照测试类型划分：功能测试、性能测试、其他非功能性测试（兼容、安全等）

 数据的生命周期划分：数据采集测试、数据处理测试、数据计算测试和应用展示阶段测试功能测试功能测试主要覆盖数据质量、数据维度、数据处理和数据展示等多个方面。功能测试常用的测试方法：数据的完整性、一致性、准确性、及时性测试、数据约束检查、数据存储检查、sql文件检查、数据处理逻辑验证、shell脚本测试和调度任务测试等。在数据质量方面，主要包括4种测试方法： 数据的完整性、一致性、准确性、及时性测试。

 数据的完整性测试数据的一致性测试数据的准确性测试数据的及时性测试：数据的及时性是指数据从产生到可以查看的时间间隔（也称数据的延长时长）在可接受范围。及时性对大数据离线项目的影响不大，但对大数据实施项目有很大影响

    数据约束检查数据约束检查主要检查：数据类型、数据长度、索引和主键是否符合要求。数据类型比较丰富，测试过程中需要覆盖所有的数据类型，对于 不支持的数据类型也要有异常处理。检查目标表中的约束关系是否满足设计期望。数据约束检查数据存储检查主要检查数据的存储是否合理、正确1）评估是否需要以压缩文件形式存储   2）hive表类型选择是否合理（内部表、外部表、分区表和分桶表）3）代码中读取和写入的文件及目录是否正确SQL文件检查1）开发规范检查eg:建议先进行过滤操作，去掉无用数据后在进行join操作；建议将小表放在join的左边，join左边的边会首先加载进内存，这样可以有效降低内存溢出错误发生的概率；尽量少使用distinct操作，因为distinct操作比较耗资源等等2）sql语法检查主要检查sql是否存在语法问题，即检查sql连接方式、函数、聚合和关键字的使用是否正确数据处理逻辑验证1）验证过程是否符合业务逻辑，运算符和函数的使用是否正确2）对异常值，“脏”数据、极值、特殊数据（0值、负值）的处理是否符合预期3）字段类型愚书记数据是否一致，主键构成是否合理4）是否按照去重规则进行去重处理调度任务测试1）任务本身是否支持重跑，任务失败是否有日志，重跑数据是否正常有重复数据，任务失败是否可以监控告警等2）依赖的父任务是否更配置合理3）任务依赖层次是否合理，任务执行先后、并行是否合理，是否会冲突。4）任务是否在规定的时间内完成

个人总结：

 实际测试中，可能涉及很多个部门，数据采集即数据源来源于业务生产，不需要大数据平台自己去采集，只需要读取数据源即可；有时候细分到某一部分测试，不涉及整个系统测试，比如只用关注数据质量：时效性、准确性，怎么更加快速有效的进行测试，纯靠人工并不现实，就需要借助自动化脚本辅助；所有的前提是必须确认好数据处理逻辑，技术方案与各业务相关方确认一致，不能单靠一方自行处理

测试总结——大数据测试相关推荐

得物交易域数据仓库数据质量保障体系建设 |大数据测试
一.背景介绍目前得物数仓测试,划分成交易.增长.社区等多个模块,不同的数仓测试域,都会有一名测试人员负责跟进,根据每个版本每个域资源实际投入情况,组内会适当的调整资源,以满足日常迭代需要:单交易域这 ...
怎么进行大数据测试？我们需要具备怎样的测试能力？
前言:现在大数据这么火,那么作为测试人员,我们应该怎么进行大数据测试?需要具备怎样的测试能力? 一.大数据测试实现被分成三个步骤 (1):数据阶段验证大数据测试的第一步,也称作pre-hadoop阶 ...
大数据测试-功能性能
什么是大数据?............................................................................................. ...
大数据综合能力测试_如何完成大数据测试？资深测试从功能测试角度为你分析分析...
大数据,已经成为了这个时代的代名词.当今的互联网属于大数据时代,大数据时代的到来,颠覆了以往对数据的惯性思考方式,要保证数据执行,软件质量,测试质量,数据使用场景等,都需要重新变换一个新的角度,对软件 ...
乐玩自动化测试模块_深圳大数据测试培训推荐班
推荐就业服务.很多培训机构都有推荐就业的服务,比如就有终身就业推荐服务,如果学员找的工作不满意,的就业老师会一直为他免费推荐工作.深圳大数据测试培训推荐班4.企业内推.有的培训机构会和企业建立比较深入 ...
一名合格的大数据测试工程师，需要掌握哪些基本知识
关于大数据测试策略.大数据应用测试步骤.大数据测试流程等等,你应该也听到很多人给你科普过这些基本的知识了,在这就不再冗述了. 今天轻松一下,分享一些有趣的数据主要来说下,成为大数据测试工程师前,你必需 ...
大数据测试是什么意思？测试分析方法有哪些？
大数据时代下的现代生活已经形成一个信息高度发达流通的社会,大数据应用已经渗透到各行各业发展中,我们每次上网浏览的痕迹,每次网络搜索.电子支付都与大数据息息相关. 而关于大数据测试也随着大数据的应用变得 ...
VMware 搭建大数据测试平台（CDH6.2.1）
文章目录 VMware 搭建大数据测试平台 1.安装虚拟机 1.1 创建一台虚拟机 1.2 开机安装CentOS 1.3 配置NAT网络 1.4 配置CentOS系统 1.4.1 修改映射关系 1.4 ...
进行大数据测试需要关注那些测试点？
资源分享[这份资料必须领取~] 大家好,今天我们一起聊聊在进行大数据测试中需要关注哪些测试点,如何更好得做好大数据测试. 一.从传统的软件测试质量模型来看,大数据测试可以从大数据的功能性..易用性进行 ...

测试总结——大数据测试

介绍文档：https://blog.csdn.net/m0_55389447/article/details/124873599

个人总结：

测试总结——大数据测试相关推荐

最新文章

热门文章