读书笔记——阿里数据中台(第一篇:数据中台顶层设计)
最近在读阿里数据中台的书,因为要在组内做分享,就多度了几遍。与阿里大数据实践之路配合,基本可以看到阿里建设数据中台的过程,和一些技术细节。做一件有价值的事情就是把自己觉得好的东西分享出来,那么开始内容
(1)大数据的发展历程和价值探索
大数据的发展
文章开篇是一段作者建设数据中台过程的心路历程,下来就是老套路,介绍了国内外大数据发展的历程与大数据的价值探索,这里做简单的介绍。
两个重要的节点需要说一下:
- 2003年谷歌公开了内部对于海量文件的处理技术、GFS分布式文件系统、并行计算处理框架MapReduce、高效数据存储模型BigTable,这些促成了分布式系统基础架构—hadoop。为各个大数据组件的诞生打下基础。
- 2012年全球大数据从TB上升到PB,也是阿里大数据之路开端的一年。
大数据的价值
大数据的价值书中主要从四个方面介绍,在下面的四个方面都深刻的解析了大数据的实际应用和真是含义。
- 语义层面:‘数据’即所有信息的记录,例如用户访问网站的信息的转化过程的行为属性;大是巨量的意思,可以隐身为数量、形式、含义的丰富,保障实现被高保真的记录与回放
- 实现层面:大数据是一套数据处理技术活方法体系,实现具体以上特征的数据的存储、计算、共享、备份和容灾、保密等,保证数据处理的时效性和拓展性
- 服务层面:大数据的数据技术变革引发的新型信息服务模式,例如从数据探索出发,系统主动推送信息给用户做决策、给及其优化参数、基于数据的量变完成数据的质变
- 应用层面:大数据是数据服务组合生成的新场景、新体验、日益增长的数据量非但不会使信息获取效率降低、质量下降,反而会让每个人都能得到快速的迭代,个性化的互联网服务。
##(2)阿里的大数据主张
在数据提供服务的基础上,阿里对数据的要求是准、快、全、统、通,简单的解释是标准统一
融会贯通、资产化、服务化、闭环自优,这是阿里数据中台实现目标的核心。
要实现上面的目标,如何做呢?
图片展示了数据中台运行的过程,主要抽象成三个部分
第一部分:OneData致力于实现数据的标准与统一
第二部分:OneEntity致力于实现实体的统一,让数据融通而非以孤岛存在,为精准的用户画像提供基础
第三部分:OneService致力于实现数据服务统一,让数据复用而非复制
从两一个维度看一下数据中台赋能业务的全景图
- 数据后台:计算数据后台同时具有离线计算、实时计算计算能力和在线分析能力从而可以让用户今早的看见昨天及以前汇总及萃取的数据,准确无误的看到上一秒产生的数据、在线分析,查看海量的数据
- 数据中台:云上数据中台、通过智能数据能力实现全局数据仓库规划、数据规范定义、数据建模研发、数据连接萃取、数据运维监控,拥有多样的数据的分层数据中心。
- 数据前台:数据前台的核心是通过数据的复用,为多个业务线提供数据高效的数据服务。
——————————————————————————————————————
今天就介绍到这里,下次介绍阿里巴巴的大数据建设过程,主要以时间为主线介绍。
读书笔记——阿里数据中台(第一篇:数据中台顶层设计)相关推荐
- 数据之道读书笔记-06面向“自助消费”的数据服务建设
数据之道读书笔记-06面向"自助消费"的数据服务建设 数据底座建设的目标是更好地支撑数据消费,在完成数据的汇聚.整合.联接之后,还需要在供应侧确保用户更便捷.更安全地获取数据.一方 ...
- 【手把手教你如何从Tushare库下载股票数据,并保存在硬盘当中,第一篇数据过滤】
手把手教你如何从Tushare库下载股票数据,并保存在硬盘当中.第一篇数据过滤 前言 一.Tushare是什么? 二.代码 1.引入库 2.交易日的逻辑 3.先把每天个股的基础数据调出来 3.接下来我 ...
- 《资本论》读书笔记(2)第二卷第一章:资本形态变化及其循环
<资本论>读书笔记(2)第二卷第一章:资本形态变化及其循环 +BIT祝威+悄悄在此留下版了个权的信息说: 货币资本的循环 第一阶段:资本家用手里的钱买来设备.原材料,雇来一批工人,或者说, ...
- 读书笔记——阿里数据中台(第二篇:OneData体系1)
今天来介绍数据中台的第二篇,第二篇共分为三个大部分分别对应的是阿里的数据中台三大体系(阿里的数据中台体系架构见上一篇),OneData体系,OneEntity体系,OneService体系,三大体系相 ...
- 读书笔记——阿里数据中台(第二篇:OneData体系2)
今天介绍OneData体系的第二部分,这部分主要的内容是从成本中心向资源中心转变的一个过程.这个过程的主要内容是有元数据做底层构建的.核心思想是将存储和计算成本与数据的价值挂钩,形成数据资产的概念.简 ...
- 读书笔记2区块链与大数据
书名:区块链+大数据(机械工业出版社) 选择它的理由:1,从目前的专业(电子商务)角度来说,正如我前一篇的读后感提到的那样,在电商进一步升级中,对数据处理的要求越来越高,对数据保密(保证数据来源的合法 ...
- 大数据之路、阿里巴巴大数据实践读书笔记 --- 第十六章、数据应用
本篇主要介绍两个应用:提供给外部商家使用的数据产品平台-生意参谋和服务于阿里巴巴内部的数据产品平台 一.生意参谋 作为大数据公司,阿里巴巴在推动业务数据化的同时,也在不断地帮助商家实现数据业务化.在对 ...
- 【读书笔记->数据分析】03 BDA数据可视化
数据可视化 介绍 章节内容 数据可视化的概念.原理与各种常用的分析方法 考试内容 数据可视化简介 (1) 数据可视化的基本概念 (2) 数据可视化的发展历史 (3) 数据可视化的基本作⽤ (4) 数据 ...
- 读书笔记:《Python 和 Dask 数据科学》
文章目录 一. 可扩展计算 数据集规模 调度,扩展,并发和恢复 二. Dask Dask 组件和层次 Dask 入门 三. Dask DataFrame Dask 和 Pandas 数据:读取 数据: ...
- 【读书笔记】NeurIPS2018的两篇文章:The Tradeoffs of Large Scale Learning和Neural Ordinary Differential Equations
今天看了 NeurIPS 2018 上的两篇文章,一篇是获得 best paper 的 Neural Ordinary Differential Equations (陈天奇的文章),一篇是获经典论文 ...
最新文章
- 2022-2028年中国安防视频行业市场前景分析预测报告
- linux c语言 malloc动态分配指针,C语言malloc函数为一维,二维,三维数组分配空间...
- AI破解古文字登Nature封面:修复缺失文字,精确地理位置和书写时间,DeepMind哈佛谷歌多家联手开发...
- 【译】IPFS — The Permanent, Distributed Web
- 模糊控制作业c语言,单片机 模糊控制 算法 c语言
- Java成员方法的声明和调用
- 【转】Go Micro(2)——微服务工具箱
- PHP面向对象之方法重写
- VirtualBox启动虚拟机出错VT-x disable
- 聚类分析一:K-MEANS算法
- linux c语言怎么把2个字符串拼起来,【C语言学习笔记】字符串拼接的3种方法 .
- kaka启动出现:Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000c00000, 1073,0)
- apple ID 注册 此时无法创建您的账户
- Docker参数 -i -t 的作用
- 域名到期查询如何查看?有什么新方法吗?
- pc机之间的通信和点阵汉字的字模读取与显示
- Excel转PDF如何解决显示不全的问题?
- .CN 根域名被攻击至瘫痪,谁之过?
- pycharm(python)的注释
- 哈理工OJ 1192 追逐(贪心算法)
热门文章
- MathType注册表位置
- 关于马克思《青年在选择职业时的考虑》的读书报告
- 牛刀:中国未来房价基本走势…
- GitHub上12k Star的《Java工程师成神之路》终于开放阅读了!
- 通过输入的年份判断生肖
- 用友U8案例教程销售管理后台配置
- 梅捷512G固态拆机+得一微YS9082HP量产教程+YS9082HP开卡工具
- 项目-1.CROSSFORMER论文与代码解析(CrossFormer: A Versatile Vision Transformer Based on Cross-scale Attention)
- java过滤器不管用_java中过滤器不起作用的原因
- 数据抓取可否发展出好的商业模式?