作者 | 华为公司数据管理
责编 | 晋兆雨
头图 | 付费下载于视觉中国

*文末有赠书

在从信息化向数字化转型的过程中,企业积累了海量的数据,并且还在爆发式地增长。数据很多,但真正能产生价值的数据却很少。数据普遍存在分散、不拉通的问题,缺乏统一的定义和架构,找到想要的、能用的数据越来越难。

本文将讲述华为数据底座的总体架构和建设策略。

非数字原生企业数字化转型的数据底座建设框架

华为通过建设数据底座,将公司内外部的数据汇聚在一起,对数据进行重新组织和联接,让数据有清晰的定义和统一的结构,并在尊重数据安全与隐私的前提下,让数据更易获取,最终打破数据孤岛和垄断。通过数据底座,主要可以实现如下目标。

  1. 统一管理结构化、非结构化数据。将数据视为资产, 能够追溯数据的产生者、业务源头以及数据的需求方和消费者等。

  2. 打通数据供应通道,为数据消费提供丰富的数据原材料、半成品以及成品,满足公司自助分析、数字化运营等不同场景的数据消费需求。

  3. 确保公司数据完整、一致、共享。监控数据全链路下的各个环节的数据情况,从底层数据存储的角度,诊断数据冗余、重复以及“僵尸”问题,降低数据维护和使用成本。

  4. 保障数据安全可控。基于数据安全管理策略,利用数据权限控制,通过数据服务封装等技术手段,实现对涉密数据和隐私数据的合法、合规地消费。

华为数据底座的总体架构

华为数据底座由数据湖、数据主题联接两层组成,将公司内外部的数据汇聚到一起,并对数据进行重新的组织和联接,为业务可视化、分析、决策等提供数据服务,如图1 所示。

图1 华为数据底座总体架构

数据湖是逻辑上各种原始数据的集合,除了“原始”这一特征外,还具有“海量”和“多样”(包含结构化、非结构化数据)的特征。数据湖保留数据的原格式,原则上不对数据进行清洗、加工,但对于数据资产多源异构的场景需要整合处理,并进行数据资产注册。

数据入湖必须要遵循 6 项标准,共同满足数据联接和用户数据消费需求。具体细节本文将不展开,感兴趣的读者可以阅读华为官方出版的《华为数据之道》。

数据主题联接是对数据湖的数据按业务流 / 事件、对象 / 主体进行联接和规则计算等处理,形成面向数据消费的主题数据,具有多角度、多层次、多粒度等特征,支撑业务分析、决策与执行。基于不同的数据消费诉求,主要有多维模型、图模型、指标、标签、算法模型 5 种数据联接方式。

华为数据底座的建设策略

数据底座建设不能一蹴而就,要从业务出发,因势利导,持续进行。具体来说,华为数据底座采取“统筹推动、以用促建、急用先行”的建设策略,根据公司数字化运营的需要,由公司数据管理部统一规划,各领域分别建设,以满足本领域和跨领域的数据需求。其中,数据 Owner 是各领域数据底座建设的第一责任人,各领域数据部负责执行。数据底座资产建设遵从下面四项原则。

1)数据安全原则

数据底座数据资产应遵循用户权限、数据密级、隐私级别等管理要求,以确保数据在存储、传输、消费等全过程中的数据安全。技术手段包括但不限于授权管理、权限控制、数据加密、数据脱敏。

2)需求、规划双轮驱动原则

数据底座数据资产基于业务规划和需求触发双驱动的原则进行建设,对核心数据资产优先建设。

3)数据供应多场景原则

数据底座资产供应需根据业务需求提供离线 / 实时、物理 /虚拟等不同的数据供应通道,满足不同的数据消费场景。

4)信息架构遵从原则

数据底座数据资产应遵从公司的信息架构,必须经 IA-SAG(信息架构专家组)发布并完成注册。

本文只是提纲挈领地讲述了华为数据底座建设的架构与策略,具体实施时,数据湖的建设以及数据主题的联接是重中之重,关于这两点内容,本文不展开讲,如果您对其中的细节感兴趣,推荐您详细阅读华为官方出版的《华为数据之道》。

#欢迎留言在评论区和我们讨论#

看完本文,对于数据底座建设你有什么想说的?

欢迎在评论区留言

我们将在 11 月 25 日精选出 3 条优质留言

赠送华为官方出品《华为数据之道》纸质书籍一本哦

更多阅读推荐

  • 大神们都是如何在时间序列中进行特征提取的?看完就懂了!

  • 如何破解“中国开源拿来主义”?包云岗的几点分析

  • 打钱!我的数据库被黑客勒索了!

  • 赠书 | 图像分类问题建模方案探索实践

  • Value DeFi遭黑客攻击始末,闪电贷这次又带走了700万美元

赠书 | 华为数据底座的整体架构与建设策略相关推荐

  1. 大数据平台的整体架构由哪些组成

    大数据平台将互联网使用和大数据产品整合起来,将实时数据和离线数据打通,使数据能够实现更大规模的相关核算,挖掘出数据更大的价值,然后实现数据驱动事务.那么,大数据平台的整体架构由哪些组成呢? 一.事务使 ...

  2. 【赵强老师】大数据平台的整体架构

    先看视频. [赵强老师]大数据平台的整体架构 大数据平台中的主要组件,如下: HDFS(Hadoop分布式文件系统) 源自于Google的GFS论文,发表于2003年10月,HDFS是GFS的山寨版. ...

  3. 袋鼠云数据中台专栏2.0 | 企业数字化(数据界面)整体架构

    袋鼠云数据中台专栏V2.0 数据中台如何定义? 企业数据化与数据中台的关系是什么? 数据中台如何支撑企业战略转型? 袋鼠云近两年来,先后为国内数十家大型龙头企业提供数据中台咨询与实施落地服务,积累了大 ...

  4. 基于Hadoop的大数据平台的整体架构介绍

    原文地址:点击打开链接 Hadoop是开源的分布式存储+分布式计算平台的框架 大数据的热度在持续的升温,继云计算之后大数据成为又一大众所追捧的新星.我们暂不去讨论大数据到底是否适用于您的组织,至少在互 ...

  5. 基于Hadoop的大数据平台实施——整体架构设计

    大数据的热度在持续的升温,继云计算之后大数据成为又一大众所追捧的新星.我们暂不去讨论大数据到底是否适用于您的公司或组织,至少在互联网上已经被吹嘘成无所不能的超级战舰.好像一夜之间我们就从互联网时代跳跃 ...

  6. Nand Flash数据存储单元的整体架构

    http://www.crifan.com/files/doc/docbook/linux_nand_driver/release/html/linux_nand_driver.html 简单说就是, ...

  7. 基于Hadoop的大数据平台实施记——整体架构设计[转]

    http://blog.csdn.net/jacktan/article/details/9200979 大数据的热度在持续的升温,继云计算之后大数据成为又一大众所追捧的新星.我们暂不去讨论大数据到底 ...

  8. 华为数据之道 pdf_华为官方出品,华为数据之道新书来了

    作者:Lemon 来源:Python数据之道 <华为数据之道>新书来了 ★文末赠送 5 本书籍★ 大家好,我是 Lemon. 今天给大家分享一本新书,这本书是由华为官方出品,具体来说是由华 ...

  9. 125页PPT看完《华为数据之道》

    随着数字化转型的深入开展,数据成为新的生产要素.对于非数字原生企业,数据治理的重要性越来越突出.如何有效地开展数据治理工作.提升数据质量.打破数据孤岛.充分发挥数据的业务价值,成了业界的热门话题. & ...

最新文章

  1. R语言使用magick包的image_animate函数和image_morph函数创建一个由n个图像组成的序列,逐渐将一个图像转换成另一个图像(sequence of image morph by)
  2. PMCAFF微课堂|前codefollow运营女神:深剖女性社群电商的心理需求和特征
  3. 二分查找基础概念与经典题目(Leetcode题解-Python语言)二分索引型
  4. python代码比例_Python如何输出百分比
  5. flex 弹性布局 居中
  6. 深入理解JavaScript系列:《你真懂JavaScript吗?》答案详解
  7. 设计模式六大原则——迪米特法则(LoD)
  8. 【数据库基础知识】数据库表格——主键和外键
  9. 99%的人都理解错了GET与POST的区别
  10. 在手机里输入八卦及64卦符号(老年教程)
  11. 拓端tecdat|python关联规则学习:FP-Growth算法对药品进行“菜篮子”分析
  12. 如何在 Mac 上映射网络驱动器
  13. 《因果推理原理:基础与学习算法》第一章 因果模型和统计模型
  14. 计算机word表格计算教程F9,word表格计算方法详解
  15. 谷歌google搜索打不开、谷歌gmail邮箱及相关服务无法登录的解决的方法
  16. IDA 中怎么查看函数的调用关系
  17. java.lang.NullPointterException:
  18. 天数怎么换算成月_excel表中,怎么把日期数转换成月份数呢?
  19. 网狐【客户端配置杂项】
  20. Chrome Network面板工具之万文多图详解

热门文章

  1. java 注解 target_详解JDK 5 Annotation 注解之@Target的用法
  2. 荣耀v40搭载鸿蒙吗,荣耀V40照常发布,将更换操作系统,同nova8搭载鸿蒙2.0发布...
  3. pythonsuper函数_怎么使用python super函数调用父类
  4. 一位法国女数学史家与中国两代同行的40年交往
  5. 真正厉害的人,早就戒掉了“贫穷思维”
  6. 从金庸的武侠到数学的江湖
  7. 南大用“推荐算法”分宿舍666,新生配好舍友美滋滋
  8. 我们为什么要学数学?这里给你一个答案。
  9. linux shell 高级编程,shell高级编程
  10. 23种设计模式之建造者模式