大数据技术包含哪些结构层次
大数据领域每年都会涌现出大量新的技术，大数据技术可以挖掘出大规模数据中隐藏的信息和知识，为人类社会经济活动提供依据，提高各领域的运行效率，甚至提高整个社会经济的集约化程度。那么大数据计算包含哪些结构层次
(1)统一数据基础层
我们通过各种方式采集到的丰富数据，在清洗、结构化后进入统一的ODS数据基础层。
其主要功能包括：
-同步：结构化数据增量或全量同步到数据中台
-结构化：非结构化(日志)结构化处理并存储到数据中台
累积历史、清洗：根据数据业务需求及稽核和审计要求保存历史数据、数据清洗
在权责方面，所有数据应该在源头统一，统一所有的数据基础层，并由一个团队负责和管控，其他团队无权复制数据基础层的数据。
(2)数据中间层
我们进行数据建模研发，并处理不因业务特别是组织架构变动而轻易转移的数据中间层。包括DWD明细数据中间层和DWS汇总数据中间层。
其主要功能包括：
-组合相关和相似数据：采用明细宽表，复用关联计算，减少数据扫描。
-公共指标统一加工：基于OneData体系构建命名规范、口径一致和算法统一的统计指标，为上层数据产-品、应用和服务提供公共指标;建立逻辑汇总宽表;
-建立一致性维度：建立一致数据分析维度表，降低数据计算口径、算法不统一的风险。
在权责方面，面向业务提供服务之前，由统一的团队负责从业务中抽象出源于业务而又不同于业务的数据域，再主导统一建设数据中间层，包括侧重明细数据预JOIN等处理的明细中间层、侧重面向应用可复用维度和指标的汇总数据中间层。特别是要由团队负责将核心业务数据统一加入数据中间层。允许部分业务数据有独立的数据团队按照统一的OneModel体系方法论建设数据体系，ODS数据基础层和DWD+DWS数据中间层因其统一性和可复用性，被称为数据公共层。
(3)数据应用层
在面向应用提供服务时，业务团队或深入业务线的数据团队有极大的自由度，只要依赖数据公共层，即可自由的建设ADS数据应用层。
其主要功能包括：
-个性化指标加工：不公用性;复杂性(指数型、比值型、排名型指标)
-基于应用的数据组装：大宽表集市、横表转纵表、趋势指标串
不同功能的模块组合成一个具有实际应用价值的大数据分析平台，实现对各种业务的前瞻性预测和分析，为用户提供统一的决策分析支持，从而更好地突出平台本身的价值。
大数据技术包含哪些结构层次相关推荐
- 大数据技术学习路线指南
大数据技术作为决策神器,日益在社会治理和企业管理中起到不容忽视的作用,美国,欧盟都已经将大数据研究和使用列入国家发展的战略,类似谷歌,微软,百度,亚马逊等巨型企业也同样把大数据技术视为生命线以及未来发 ...
- 大数据分析软件包含哪些技术？
大数据不仅体现在海量上,而且涉及范围广泛,而且计算过程比较庞大高效,大数据分析可以从海量数据中提取出最有效的信息,在企业营销中发挥关键作用,可以说谁能更好地利用大数据分析在竞争中处于更加有利的地位.那 ...
- 大数据技术大致包含哪些内容
关于大数据的概念,指的是无法在一定时间内用常规软件工具对其内容进行抓取.管理和处理的数据集合.而大数据技术,是指从各种各样类型的数据中,快速获得有价值信息的能力.那么关于大数据的技术大致包含哪些内容? ...
- 限时早鸟票 | 2019 中国大数据技术大会（BDTC）超豪华盛宴抢先看！
2019 年12月5-7 日,由中国计算机学会主办,CCF 大数据专家委员会承办,CSDN.中科天玑数据科技股份有限公司协办的 2019 中国大数据技术大会,将于北京长城饭店隆重举行.届时,超过百位技 ...
- 盛会再临，2018中国大数据技术大会（BDTC）首曝日程及议题
满目皆干货,俯仰尽拾珠.作为年度技术趋势与行业应用的风向标,连续成功举办十一年的中国大数据技术大会(BDTC)携主题"大数据新应用"再度强势来袭,稳踏技术时代浪潮,势将引爆今冬技术 ...
- 冷热分离和直接使用大数据库_中台有“数”：大数据技术为苏宁818保驾护航
今年818正值苏宁成立30周年之际,苏宁易购提出了"专注好服务"的全新品牌主张,在带来巨大流量的同时,也给苏宁中台系统的保障工作带来了更大的挑战.如何在818大促中,快速.高效.智 ...
- 概述：机器学习和大数据技术在信贷风控场景中的应用
来源:知乎 本文约5400字,建议阅读10分钟 本文简要概述在当前大数据和机器学习技术如何在信贷风控场景下的常见应用. 似乎一夜之间,所有的互联网公司在对外的宣传稿中都会提及自己使用机器学习和大数据技 ...
- 《Spark大数据分析：核心概念、技术及实践》大数据技术一览
本节书摘来自华章出版社<Spark大数据分析:核心概念.技术及实践>一书中的第1章,第1节,作者穆罕默德·古勒(Mohammed Guller)更多章节内容可以访问云栖社区"华章 ...
- 大数据产品开发流程规范_大数据技术思想入门(三)：分布式文件存储的流程
如果你不喜欢阅读文字的话,可以选择滑到最后看 视频讲解 哟~~~ 进程和 RPC 在上一篇文章中,我们讲解了要解决好大数据集的存储问题,需要引入一个主从结构的集群,其中,主服务器用于存储元数据,从服务 ...
最新文章
- CList添加出错AddTail（）；rror C2664: 'struct __POSITION *__thiscall CList错误
- 【django】项目开发准备【1】
- 编程大讲坛、坛坛是佳酿--编程大讲坛：C#核心开发技术从入门到精通
- mysql做前端_MySQL 还可以这样做
- C++模版和C#泛型求同存异录（一）sizeof(T)
- 用动画切换按钮的状态
- 操作系统上机作业--使用系统调用实现mycat
- mysql r_R之RMySQL
- 小数分数转换c语言,这是把小数转换成分数的程序，可是输入0.6666无限循环
- 二维数组子数组矩形和
- 华科网络内容管理系统 v5.6 手机 PC
- php设计一个盒子类代码_PHP设计模式之备忘录模式（Memento）代码实例大全（25）...
- Mysql逻辑架构简介
- android 入门-git之上传本地代码到github
- 如何将硬盘数据迁移包括系统一起迁移到另一个硬盘？
- 阶梯形矩阵（Echelon Matrix）
- 记一次git 之windows凭据管理器引发的xx
- 计算共形几何讲座笔记
- 对话吴恩达：伟大的AI企业需要CEO的全力支持
- mysql 里的1044错误_MySQL1044错误怎样修改错误？