赠书 | 华为数据底座的整体架构与建设策略
作者 | 华为公司数据管理
责编 | 晋兆雨
头图 | 付费下载于视觉中国
*文末有赠书
在从信息化向数字化转型的过程中,企业积累了海量的数据,并且还在爆发式地增长。数据很多,但真正能产生价值的数据却很少。数据普遍存在分散、不拉通的问题,缺乏统一的定义和架构,找到想要的、能用的数据越来越难。
本文将讲述华为数据底座的总体架构和建设策略。
非数字原生企业数字化转型的数据底座建设框架
华为通过建设数据底座,将公司内外部的数据汇聚在一起,对数据进行重新组织和联接,让数据有清晰的定义和统一的结构,并在尊重数据安全与隐私的前提下,让数据更易获取,最终打破数据孤岛和垄断。通过数据底座,主要可以实现如下目标。
统一管理结构化、非结构化数据。将数据视为资产, 能够追溯数据的产生者、业务源头以及数据的需求方和消费者等。
打通数据供应通道,为数据消费提供丰富的数据原材料、半成品以及成品,满足公司自助分析、数字化运营等不同场景的数据消费需求。
确保公司数据完整、一致、共享。监控数据全链路下的各个环节的数据情况,从底层数据存储的角度,诊断数据冗余、重复以及“僵尸”问题,降低数据维护和使用成本。
保障数据安全可控。基于数据安全管理策略,利用数据权限控制,通过数据服务封装等技术手段,实现对涉密数据和隐私数据的合法、合规地消费。
华为数据底座的总体架构
华为数据底座由数据湖、数据主题联接两层组成,将公司内外部的数据汇聚到一起,并对数据进行重新的组织和联接,为业务可视化、分析、决策等提供数据服务,如图1 所示。
图1 华为数据底座总体架构
数据湖是逻辑上各种原始数据的集合,除了“原始”这一特征外,还具有“海量”和“多样”(包含结构化、非结构化数据)的特征。数据湖保留数据的原格式,原则上不对数据进行清洗、加工,但对于数据资产多源异构的场景需要整合处理,并进行数据资产注册。
数据入湖必须要遵循 6 项标准,共同满足数据联接和用户数据消费需求。具体细节本文将不展开,感兴趣的读者可以阅读华为官方出版的《华为数据之道》。
数据主题联接是对数据湖的数据按业务流 / 事件、对象 / 主体进行联接和规则计算等处理,形成面向数据消费的主题数据,具有多角度、多层次、多粒度等特征,支撑业务分析、决策与执行。基于不同的数据消费诉求,主要有多维模型、图模型、指标、标签、算法模型 5 种数据联接方式。
华为数据底座的建设策略
数据底座建设不能一蹴而就,要从业务出发,因势利导,持续进行。具体来说,华为数据底座采取“统筹推动、以用促建、急用先行”的建设策略,根据公司数字化运营的需要,由公司数据管理部统一规划,各领域分别建设,以满足本领域和跨领域的数据需求。其中,数据 Owner 是各领域数据底座建设的第一责任人,各领域数据部负责执行。数据底座资产建设遵从下面四项原则。
1)数据安全原则
数据底座数据资产应遵循用户权限、数据密级、隐私级别等管理要求,以确保数据在存储、传输、消费等全过程中的数据安全。技术手段包括但不限于授权管理、权限控制、数据加密、数据脱敏。
2)需求、规划双轮驱动原则
数据底座数据资产基于业务规划和需求触发双驱动的原则进行建设,对核心数据资产优先建设。
3)数据供应多场景原则
数据底座资产供应需根据业务需求提供离线 / 实时、物理 /虚拟等不同的数据供应通道,满足不同的数据消费场景。
4)信息架构遵从原则
数据底座数据资产应遵从公司的信息架构,必须经 IA-SAG(信息架构专家组)发布并完成注册。
本文只是提纲挈领地讲述了华为数据底座建设的架构与策略,具体实施时,数据湖的建设以及数据主题的联接是重中之重,关于这两点内容,本文不展开讲,如果您对其中的细节感兴趣,推荐您详细阅读华为官方出版的《华为数据之道》。
#欢迎留言在评论区和我们讨论#
看完本文,对于数据底座建设你有什么想说的?
欢迎在评论区留言
我们将在 11 月 25 日精选出 3 条优质留言
赠送华为官方出品《华为数据之道》纸质书籍一本哦!
更多阅读推荐
大神们都是如何在时间序列中进行特征提取的?看完就懂了!
如何破解“中国开源拿来主义”?包云岗的几点分析
打钱!我的数据库被黑客勒索了!
赠书 | 图像分类问题建模方案探索实践
Value DeFi遭黑客攻击始末,闪电贷这次又带走了700万美元
赠书 | 华为数据底座的整体架构与建设策略相关推荐
- 大数据平台的整体架构由哪些组成
大数据平台将互联网使用和大数据产品整合起来,将实时数据和离线数据打通,使数据能够实现更大规模的相关核算,挖掘出数据更大的价值,然后实现数据驱动事务.那么,大数据平台的整体架构由哪些组成呢? 一.事务使 ...
- 【赵强老师】大数据平台的整体架构
先看视频. [赵强老师]大数据平台的整体架构 大数据平台中的主要组件,如下: HDFS(Hadoop分布式文件系统) 源自于Google的GFS论文,发表于2003年10月,HDFS是GFS的山寨版. ...
- 袋鼠云数据中台专栏2.0 | 企业数字化(数据界面)整体架构
袋鼠云数据中台专栏V2.0 数据中台如何定义? 企业数据化与数据中台的关系是什么? 数据中台如何支撑企业战略转型? 袋鼠云近两年来,先后为国内数十家大型龙头企业提供数据中台咨询与实施落地服务,积累了大 ...
- 基于Hadoop的大数据平台的整体架构介绍
原文地址:点击打开链接 Hadoop是开源的分布式存储+分布式计算平台的框架 大数据的热度在持续的升温,继云计算之后大数据成为又一大众所追捧的新星.我们暂不去讨论大数据到底是否适用于您的组织,至少在互 ...
- 基于Hadoop的大数据平台实施——整体架构设计
大数据的热度在持续的升温,继云计算之后大数据成为又一大众所追捧的新星.我们暂不去讨论大数据到底是否适用于您的公司或组织,至少在互联网上已经被吹嘘成无所不能的超级战舰.好像一夜之间我们就从互联网时代跳跃 ...
- Nand Flash数据存储单元的整体架构
http://www.crifan.com/files/doc/docbook/linux_nand_driver/release/html/linux_nand_driver.html 简单说就是, ...
- 基于Hadoop的大数据平台实施记——整体架构设计[转]
http://blog.csdn.net/jacktan/article/details/9200979 大数据的热度在持续的升温,继云计算之后大数据成为又一大众所追捧的新星.我们暂不去讨论大数据到底 ...
- 华为数据之道 pdf_华为官方出品,华为数据之道新书来了
作者:Lemon 来源:Python数据之道 <华为数据之道>新书来了 ★文末赠送 5 本书籍★ 大家好,我是 Lemon. 今天给大家分享一本新书,这本书是由华为官方出品,具体来说是由华 ...
- 125页PPT看完《华为数据之道》
随着数字化转型的深入开展,数据成为新的生产要素.对于非数字原生企业,数据治理的重要性越来越突出.如何有效地开展数据治理工作.提升数据质量.打破数据孤岛.充分发挥数据的业务价值,成了业界的热门话题. & ...
最新文章
- R语言使用magick包的image_animate函数和image_morph函数创建一个由n个图像组成的序列,逐渐将一个图像转换成另一个图像(sequence of image morph by)
- PMCAFF微课堂|前codefollow运营女神:深剖女性社群电商的心理需求和特征
- 二分查找基础概念与经典题目(Leetcode题解-Python语言)二分索引型
- python代码比例_Python如何输出百分比
- flex 弹性布局 居中
- 深入理解JavaScript系列:《你真懂JavaScript吗?》答案详解
- 设计模式六大原则——迪米特法则(LoD)
- 【数据库基础知识】数据库表格——主键和外键
- 99%的人都理解错了GET与POST的区别
- 在手机里输入八卦及64卦符号(老年教程)
- 拓端tecdat|python关联规则学习:FP-Growth算法对药品进行“菜篮子”分析
- 如何在 Mac 上映射网络驱动器
- 《因果推理原理:基础与学习算法》第一章 因果模型和统计模型
- 计算机word表格计算教程F9,word表格计算方法详解
- 谷歌google搜索打不开、谷歌gmail邮箱及相关服务无法登录的解决的方法
- IDA 中怎么查看函数的调用关系
- java.lang.NullPointterException:
- 天数怎么换算成月_excel表中,怎么把日期数转换成月份数呢?
- 网狐【客户端配置杂项】
- Chrome Network面板工具之万文多图详解
热门文章
- java 注解 target_详解JDK 5 Annotation 注解之@Target的用法
- 荣耀v40搭载鸿蒙吗,荣耀V40照常发布,将更换操作系统,同nova8搭载鸿蒙2.0发布...
- pythonsuper函数_怎么使用python super函数调用父类
- 一位法国女数学史家与中国两代同行的40年交往
- 真正厉害的人,早就戒掉了“贫穷思维”
- 从金庸的武侠到数学的江湖
- 南大用“推荐算法”分宿舍666,新生配好舍友美滋滋
- 我们为什么要学数学?这里给你一个答案。
- linux shell 高级编程,shell高级编程
- 23种设计模式之建造者模式