一、大数据业务分类

可分为2类:

①、大数据应用

隶属于业务线。可以理解为它输出的各种报表数据，会直达客户或用户。所有数据带着强烈的业务属性，属于业务层。

②、大数据平台

可以理解为它属于中台层/数据仓库，没有自己的业务，或者说他的业务就是提供算力去支撑客户的业务。对接业务部门，提供大数据接口服务，实现大数据和业务数据对接的功能，包含很多离线和实时的接口。

一般大公司还会有基础架构组，大致如图所示：

二、离线数据构造

①、数据应用下的数据构造

需求

1、上游业务线无数据、或数据量级、数据丰富度不满足需求；

2、存量的级联数据、依赖的基础数据不满足；

3、存量数据量级不满足；

常见解决方案

1、批量mock上游业务线数据；

2、将线上数据进行脱敏后，同步到线下使用

3、如果仅仅是读取操作，(在不影响线上前提下)直接使用线上数据；

②、大数据平台下的数据构造

离线造数场景(参考：https://mp.weixin.qq.com/s/7bU4J1bhKdjBjoHgh6yW_A):

需求

1、构造海量存量测试数据。如如果有一个造 10 亿行，1000 列的数据的要求，在短时间内把这些数据造出来。

2、一般都得提供从非常多的数据源中导

大数据测试(一)大数据离线数据构造相关推荐

什么是大数据测试？大数据测试实现步骤有哪些？
近两年互联网行业动不动就喊着"大数据"的口号,大数据的诞生让很多企业节省人力物力实现精准营销获得丰厚利润.随着数据工程和数据分析技术的不断进步,大数据测试不可避免. 大数据是用于大 ...
大数据测试：多图表报告数据抓取参数
背景:大数据服务最具特色的功能就是报告了,一键生成你想要的报告,生动丰富的图标让你清晰明了,但是多图表的数据往往在出现问题时,想通过抓包来定位问题原因时就较为麻烦. 一.数据丢失 1.报告预览页 2. ...
大数据平台——离线数据
一.什么是离线数据数据从业务端产生,到分析或者反哺业务使用,需要经过一系列的清洗.处理过程,而这一过程带来时间窗口大小,就是数据的时效性.按照数据延迟的大小,可以将数据分为离线数据和以及实时数据(准 ...
大数据测试是什么意思？测试分析方法有哪些？
大数据时代下的现代生活已经形成一个信息高度发达流通的社会,大数据应用已经渗透到各行各业发展中,我们每次上网浏览的痕迹,每次网络搜索.电子支付都与大数据息息相关. 而关于大数据测试也随着大数据的应用变得 ...
大数据测试步骤有哪些？怎么做大数据测试效果好？
近几年随着大数据.云计算等概念的广泛普及,人们对于大数据的认识程度也越来越高,实际上人们的生活中也无时无刻不在应用着大数据,每一次扫码付款,每一次网上下单购买行为,都与大数据相关. 而与大数据相关的大 ...
得物交易域数据仓库数据质量保障体系建设 |大数据测试
一.背景介绍目前得物数仓测试,划分成交易.增长.社区等多个模块,不同的数仓测试域,都会有一名测试人员负责跟进,根据每个版本每个域资源实际投入情况,组内会适当的调整资源,以满足日常迭代需要:单交易域这 ...
容器开启数据服务之旅系列（四）：Kubernetes QoS 助力在线运用与大数据离线运用的带宽控制和磁盘控制...
容器开启数据服务之旅系列(四) Kubernetes QoS 助力在线运用与大数据离线运用的带宽控制和磁盘控制概述本文是2018年大数据峰会上的一些分享,关于在线业务,离线业务在ACK(阿里云容器 ...
苏宁大数据离线任务开发调度平台实践：任务调度模块架构设计
https://www.infoq.cn/article/xTvBg1_9iUL0z5Pjf0Os 本文是苏宁大数据离线任务开发调度平台实践系列文章之上篇,详解苏宁的任务调度模块. 目录 1. 绪言 ...
大数据综合能力测试_如何完成大数据测试？资深测试从功能测试角度为你分析分析...
大数据,已经成为了这个时代的代名词.当今的互联网属于大数据时代,大数据时代的到来,颠覆了以往对数据的惯性思考方式,要保证数据执行,软件质量,测试质量,数据使用场景等,都需要重新变换一个新的角度,对软件 ...

大数据测试(一)大数据离线数据构造