云原生数据中台：架构、方法论与实践
前言
第一部分 数据中台与硅谷大数据平台
第1章 全面了解数据中台
1.1 数据中台概念的起源 3
1.1.1 艺电的“数据中台”改造 4
1.1.2 Twitter的数据驱动 6
1.2 什么是数据中台 8
1.2.1 数据中台建设的目标 8
1.2.2 如何实现数据中台建设的目标 11
1.2.3 数据中台的定义和4个特点 13
1.3 大数据平台与数据中台 16
1.3.1 为什么要建设数据中台 16
1.3.2 数据中台与传统大数据平台的区别 20
1.3.3 数据中台的评判标准 24
1.4 数据中台建设方法论总纲 24
1.5 本章小结 27
第2章 数据中台能力和应用场景
2.1 数据中台不是“银弹” 28
2.2 数据中台的核心能力 31
2.2.1 全局商业洞见 31
2.2.2 个性化服务 34
2.2.3 实时数据报表 38
2.2.4 共享能力开发新业务 39
2.3 数据中台的行业应用场景 41
2.3.1 互联网行业 41
2.3.2 连锁零售业 42
2.3.3 金融业 43
2.3.4 物联网 44
2.4 数据中台如何为企业赋能 45
2.4.1 组织架构 46
2.4.2 决策部门 48
2.4.3 业务部门 51
2.4.4 研发部门 53
2.4.5 大数据部门 55
2.5 本章小结 56
第3章 数据中台与数字化转型
3.1 数字化转型的4个阶段 58
3.1.1 信息化 58
3.1.2 数据仓库（数据平台1.0） 59
3.1.3 大数据平台（数据平台2.0） 61
3.1.4 数据中台（数据平台3.0） 63
3.2 数据驱动 64
3.2.1 面向用户的数据驱动产品及服务 66
3.2.2 面向内部业务部门的数据驱动服务 68
3.2.3 数据驱动的系统管理 71
3.3 数据中台如何支持数字化转型 72
3.3.1 从技术层面支持数字化转型 73
3.3.2 从组织架构层面支持数字化转型 74
3.4 本章小结 75
第4章 从大数据平台到数据中台
4.1 大数据平台建设阶段 76
4.1.1 大数据平台起步 77
4.1.2 系统自动化 77
4.1.3 大数据平台的生产化 78
4.2 数据管理及应用阶段 80
4.2.1 数据湖/数据仓库建设 80
4.2.2 数据管理 81
4.2.3 数据安全 82
4.3 数据能力中台化阶段 84
4.3.1 全局的数据治理 85
4.3.2 数据能力的复用和共享 85
4.3.3 云原生架构的支撑 85
4.4 DataOps 87
4.4.1 什么是DataOps 87
4.4.2 DataOps解决的问题 88
4.4.3 DataOps的目标功能 90
4.4.4 DataOps的主要技术 91
4.4.5 DataOps与数据中台 92
4.5 本章小结 93
第二部分 数据中台架构与方法论
第5章 数据中台建设须知
5.1 数据中台建设需要一套方法论 96
5.2 从失败的大数据项目中吸取教训 98
5.3 数据中台建设中的常见问题 99
5.4 评判数据中台建设效果 101
5.5 数据中台建设的人员规划 103
5.6 数据中台的技术选型要求 106
5.7 本章小结 107
第6章 数据中台建设方法论
6.1 基础架构 109
6.2 数据工具 114
6.3 顶层架构设计 115
6.4 数据规范 116
6.5 业务驱动 118
6.6 关键指标 120
6.7 明确责权利 125
6.8 管理迭代 127
6.9 数据中台建设流程 128
6.10 本章小结 130
第7章 数据中台的架构
7.1 数据中台的功能定位 132
7.2 数据中台架构设计的9大原则 135
7.3 典型的硅谷大数据平台架构 137
7.3.1 Twitter的大数据平台架构 137
7.3.2 Airbnb的大数据平台架构 140
7.3.3 Uber的大数据平台架构 141
7.3.4 云平台作为大数据平台的通用底座 143
7.3.5 硅谷大数据平台架构的共性和建设思路 145
7.4 数据中台架构 147
7.5 数据中台子系统 150
7.5.1 应用基础能力平台 151
7.5.2 数据基础能力平台 152
7.5.3 数据集成开发平台 154
7.5.4 数据资产运营平台 156
7.5.5 数据业务能力层 158
7.5.6 数据中台重点建设内容 159
7.6 本章小结 160
第8章 数据中台与云原生架构
8.1 云原生架构及云平台 161
8.2 PaaS平台的主要功能 165
8.2.1 资源管理 167
8.2.2 应用全生命周期管理 169
8.2.3 高可用和容错 170
8.2.4 运维平台 172
8.3 传统方式下搭建数据中台的难点 173
8.4 云原生架构对于数据中台建设的5大意义 175
8.5 数据中台的IaaS层选择 178
8.6 本章小结 180
第三部分 数据中台技术选型与核心内容
第9章 数据中台建设与开源软件
9.1 开源软件的起源和建设过程 185
9.2 开源软件的合理使用 189
9.3 集成开源软件的5个注意事项 192
9.4 应用基础能力平台的开源选择 193
9.5 数据基础能力平台的开源选择 196
9.6 数据集成开发平台的开源选择 203
9.7 本章小结 205
第10章 数据湖与数据仓库
10.1 数据湖 207
10.1.1 数据湖的起源与作用 208
10.1.2 数据湖建设的4个目标 211
10.1.3 数据湖数据的采集和存储 212
10.1.4 数据湖中的数据治理 216
10.2 数据仓库 218
10.2.1 数据建模方式 219
10.2.2 数据仓库建设的层次 221
10.2.3 数据仓库中的数据治理 225
10.2.4 数据清洗 229
10.3 数据中台中的数据仓库和数据湖建设 231
10.4 本章小结 233
第11章 数据资产管理
11.1 数据资产管理的难题 235
11.2 数据资产管理定义 238
11.3 主数据管理 239
11.4 元数据管理 242
11.4.1 元数据的分类 243
11.4.2 元数据管理系统的功能 245
11.5 开源的元数据管理系统 247
11.6 数据资产的ROI 249
11.7 本章小结 250
第12章 数据流水线管理
12.1 数据流水线的定义与模型 251
12.2 数据流水线中的应用类别 254
12.3 数据流水线的运行方式 256
12.4 数据流水线示例 257
12.5 数据流水线管理系统面临的挑战 259
12.6 数据流水线管理系统的功能需求 262
12.6.1 自动化流水线 262
12.6.2 数据管理 263
12.6.3 性能要求 264
12.7 数据流水线管理系统的组件 265
12.8 批流合一的数据流水线 266
12.9 本章小结 269
第13章 数据中台应用开发
13.1 数据应用的形态 270
13.2 应用开发工具 277
13.3 3种典型的数据中台应用 279
13.3.1 数据即服务 279
13.3.2 模型即服务 281
13.3.3 用户标签系统 282
13.4 数据中台应用的开发和管理 283
13.4.1 应用调度系统 284
13.4.2 多租户管理 285
13.4.3 持续集成和发布 286
13.5 本章小结 287
第14章 数据门户
14.1 数据门户出现的背景 288
14.2 硅谷的数据门户建设 289
14.2.1 Twitter的DAL和EagleEye 290
14.2.2 LinkedIn的Data Hub 292
14.2.3 Airbnb的Data Portal 293
14.2.4 Lyft的Amundsen 294
14.2.5 Netflix的Metacat 296
14.2.6 Intuit的SuperGlue 297
14.2.7 硅谷数据门户总结 298
14.3 数据门户的定位及功能 299
14.4 数据门户的实现原理 301
14.5 数据门户的社交属性 303
14.6 数据应用的自助及协同工作 304
14.7 数据智能运维 306
14.8 本章小结 308
第15章 管理数据中台的演进
15.1 不断演进的数据中台 310
15.2 人员变动下的数据管理 310
15.2.1 数据安全 311
15.2.2 数据能力的传递 312
15.3 数据和应用的演进 314
15.4 资源的演进 316
15.5 演进中的关键指标 318
15.6 本章小结 321
第四部分 数据中台案例分析
第16章 EA“数据中台”实践
16.1 建设背景 324
16.2 组织架构调整 327
16.3 建设过程 328
16.4 体系架构 333
16.5 数据治理 336
16.5.1 数据标准和规范 336
16.5.2 元数据管理 338
16.5.3 数据质量管理 339
16.6 数据应用产品 340
16.6.1 推荐系统 340
16.6.2 打造动态游戏体验 341
16.6.3 标签系统及游戏运营 343
16.7 EA“数据中台”功能总结 344
16.8 本章小结 345
第17章 零售行业的数据中台
17.1 零售行业的数字化转型 346
17.2 零售行业数据中台解决方案 347
17.3 零售行业数据中台的建设 349
17.3.1 数据汇聚 350
17.3.2 业务调研 352
17.3.3 数据仓库建设及数据分析 354
17.3.4 业务系统的能力反馈 356
17.4 零售行业数据中台的应用场景 357
17.4.1 用户标签体系 357
17.4.2 精准市场营销 359
17.5 本章小结 361
第18章 物联网领域数据中台建设
18.1 现代物联网的产业链 362
18.2 物联网与ABC 365
18.3 物联网数据中台架构 366
18.4 智慧建筑物联网数据中台应用 371
18.5 本章小结 374 [1]
云原生数据中台：架构、方法论与实践相关推荐
- CDEC2021 | 智领云CTO宋文欣：构建云原生数据中台，赋能合作伙伴
近日,以"抢占五新生态"为主题的CDEC2021中国数字智能生态大会暨第十四届中国软件渠道大会(深圳站)在深圳瑞吉酒店举行,本次活动由中国软件网.海比研究院.中国软件行业协会联合主 ...
- 云原生数据中台的 What、Why、Who、How和Where
作者 | 地雷 责编 | 欧阳姝黎 WHAT:云原生是什么? 它有啥前世今生? 简单说,云原生(Cloud Native)是在云上构建和运行系统的方法论.最早移植上云的"非原住 ...
- 喜讯！智领云《云原生数据中台》获“财资中国2021年度好书”殊荣 | 文末赠书...
2021年11月中旬,"财资中国2021年度好书"评选活动火热启动.从出版机构荐书.<财资中国·财富风尚>杂志编委会严格把关,再到三大类共60本候选图书进入大众投票环节 ...
- 智领云首场合作伙伴沙龙圆满收官！行业翘楚论道云原生数据中台
2020年突如其来的疫情席卷全球.动荡之年,数字化转型的优势尤为彰显.面对不确定的挑战与无限的机遇,企业的发展也推向了下一个未知的风口浪尖.同样,我们对技术的体验需要也在迅速转变--数据不仅支撑着我们 ...
- StarLake：汇量科技云原生数据湖的探索和实践
简介: 快速了解汇量科技在云原生数据湖领域的探索和实践,详解 StarLake 的架构及业务应用案例. 作者:陈绪(汇量科技资深算法架构师,EnginePlus 2.0 产品负责人) 内容框架: 互联 ...
- 极客星球 | 阿里：云原生数据湖构建与分析实践
编者按:6月24日[Coder Park]第一季架构篇之大数据平台架构分享线上直播活动圆满结束.本期特邀MobTech袤博科技合伙人.首席数据官杨冠军担当出品人,阿里巴巴计算平台事业部大数据平台技术专 ...
- 定位云原生数据中台，「智领云」获数千万元A轮融资
点击"蓝字"关注我们 来源 | 36氪 作者 | 张丞 编辑 | 咏仪 36氪获悉,「智领云」获金沙江联合资本领投,线性资本跟投的数千万元A轮融资.本轮融资将主要用于市场拓展和产 ...
- 数据中台建设方法论-4 实践
讲完基本一些理论内容,下面可以讲一下实践过程的一些经验,下面以实施实现过程中,讲一下实践过程中一些难点 业务调研 数据中台并非一上来就咔咔咔按照理论开始搭建,这样十有八九后面要么返工要么做不下去.数据 ...
- 可以复用的数据中台架构与建设实践 | 数据中台公开课
数据中台的概念满天飞,但是数据中台的落地始终是一个难点,很难统一. 最近几年,随着企业数据的爆炸式增长,以及大数据与人工智能的普及和推广,越来越多的企业意识到"数据"对企业的重要性 ...
最新文章
- 为什么有的文件压缩的就很小,有的确实很大
- R语言条件Logistic回归模型案例:研究饮酒与胃癌的关系
- 浙江大学PAT上机题解析之1011. World Cup Betting (20)
- python3 生成器
- .NET Framework基础知识（二）(转载)
- 微信小程序 - 按照官网文档构建npm包 - 提示【没有找到可以构建的npm】
- 怎样通过FineReader 的“文本”窗口检查文本
- leetcode 1209 python
- C语言 指针与数组
- jetson刷机遇到cuda装不了
- 如何优雅地停止Java进程
- vue 函数 路由跳转_vue路由跳转的方式
- 从底层谈WebGIS 原理设计与实现(二)：探究本质，WebGIS前端地图显示之地图比例尺换算原理...
- 【深度学习】史上最全综述 | 3D目标检测算法汇总！（单目/双目/LiDAR/多模态/时序/半弱自监督）...
- python自学视频下载_Python下载哔哩哔哩学习视频
- [宋史学习] 三省六部制的破坏与宋初的中央政府机构
- Dreamwear如何创建javascript_内存管理+如何处理4种常见的内存泄漏
- Spring Boot使用方法小札（3）：应用启动后做一些事
- 解决word里没有Endnote加载项
- C语言三个数相乘怎么写,编程怎么写乘法