数据仓库、大数据平台、数据中台演进之路
随着数据中台越来越火，很多企业纷纷建起了自己的数据中台，数据中台一下子火爆起来，很多人就会存在疑问，数据中台到底是如何兴起的？
数据中台演进的四个阶段：数据库阶段(OLTP联机事务处理)、数据仓库阶段(OLAP联机分析处理)、大数据平台阶段、数据中台阶段。
数据仓库
是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。从数据角度，数据仓库更适合传统的数据库，离线采集，数据一般为结构化的，每天处理数据量不易超过TB集，数据仓库一般在数十T到几百T以内，数据仓库一般为满足内生的应用，满足内部决策支持分析需求。
缺点：海量数据存储计算存在瓶颈，无法支撑非结构化数据、实时数据计算；硬件设备成本也过高。
大数据平台
实现了企业数据模型的构建，包括统一的数据采集中心、数据计算和存储中心、数据治理中心、运维管控中心、开放共享中心和应用中心等组件。
优点：节约硬件投资降低成本；解决了海量数据、实时数据的计算和存储。
缺点：数据应用问题，不同表之间的数据一致性和口径也会不同，而且不同的表不同的字段对数据安全要求级别也不同，此外还要考虑多租户的资源安全管理，如何让内部开发者快速获取所需的数据资产目录，如何阅读相关数据的来龙去脉，如何快速的实现开发，这些在大数据平台建设初期没有考虑周全；另外一个问题是对外应用，随着大数据平台的应用建设，每一个对外应用都采用单一的数据库加单一应用建设模式，独立考虑网络安全、数据安全、共享安全，逐渐又走向了烟囱似的开发道路。
数据中台
数据中台解决数据安全的、快速的、最小权限的、且能够溯源的被探测和快速应用的问题。
数据中台不应该被过度的承载平台的计算、存储、加工任务，而是应该放在解决企业逻辑模型的搭建和存储、数据标准的建立、数据目录的梳理、数据安全的界定、数据资产的开放，知识图谱的构建，通过一系列工具、组织、流程、规范，实现数据前台和后台的连接，突破数据局限，为企业提供更灵活、高效、低成本的数据分析挖掘服务，避免企业为满足具体某部门某种数据分析需求而投放大量高成本、重复性的数据开发成本。
厚平台，大中台，小前台，没有基础厚实笨重的大数据平台，是不可能构建数据能力强大、功能强大的数据中台的。没有大数据中台，要迅速搭建小快灵的小前台也只是理想化的。
关注公众号，发送 jddsj免费下载《京东大数据技术白皮书》pdf。
数据仓库、大数据平台、数据中台演进之路相关推荐
- 离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进
简介:阿里云智能研究员 林伟 :阿里巴巴从湖到仓的演进给我们带来了湖仓一体的思考,使得湖的灵活性.数据种类丰富与仓的可成长性和企业级管理得到有机融合,这是阿里巴巴最佳实践的宝贵资产,是大数据的新一代架 ...
- 兼顾稳定和性能，58大数据平台的技术演进与实践
http://www.infoq.com/cn/articles/58-big-data-platform-technology 主要内容分为三方面:58大数据平台目前的整体架构是怎么样的:最近一年半 ...
- 稳定和性能如何兼顾？58大数据平台的技术演进与实践
作者|赵健博 编辑|尚剑 本文将为你分享58大数据平台在最近一年半内技术演进的过程,包括:58大数据平台目前的整体架构是怎么样的:最近一年半的时间内我们面临的问题.挑战以及技术演进过程:以及未来的规划 ...
- 【数字化】分享整理-数据中台=大数据平台+数据资产管理平台+数据服务平台
导读:数据中台需要采集数据作为原材料进行数据加工.数据建模,然后分门别类地储存,再根据实际的业 务场景,打造各类数据服务(含数据应用平台)从而实现对业务的赋能加速. 目录 1.数据中台的功能架构概览 ...
- 【SDCC讲师专访】吕毅：链家网大数据平台的架构演进
2016年11月18日-20日,由CSDN重磅打造的年终技术盛会,SDCC 2016中国软件开发者大会将在北京举行,大会面向国内外的中高端技术人员,聚焦最前沿技术及一线的实践经验,从而助力企业的技术升 ...
- 诸葛io的技术架构图_大数据平台的技术演化之路 诸葛io平台设计实例
作者简介:本文来自诸葛io创始人孔淼的技术分享.诸葛io是业内领先的智能数据决策平台,也是国内早期的数据分析践行者.本文将从诸葛io平台设计实例,分享大数据平台的技术演化之路. 如今,数据分析能力正逐 ...
- 大数据平台数据治理体系建设和管理方案
1. 范围 1 2. 规范性引用文件 1 3. 术语.定义和缩略语 5 4. 总体说明 8 4.1. 概述 8 4.2. 目标 9 4.3. 原则 9 5. 数据治理体系 10 5.1. 总体框架 1 ...
- 大数据24小时：众安推出汽车大数据平台“数据魔方”，国内首个新能源大数据线下创新园区落户青海
[数据猿导读] DeepMind开发新款人工智能产品,可用于诊断眼底疾病:众安保险推出汽车大数据平台"数据魔方":国内首个新能源大数据线下创新园区在青海开园--以下为您奉上更多大数 ...
- 300页超全大数据平台数据治理规划方案模板
大数据时代的安全与传统信息安全相比,变得更加错综复杂,大量的数据汇集,包括大量的企业运营数据.客户信息.个人的隐私和各种行为的细节记录,这些数据的集中存储增加了数据泄露风险.大数据的安全保护对数据完整 ...
- Spring Cloud Alibaba 分布式微服务高并发数据平台化(中台)思想+多租户saas企业开发架构技术选型和设计方案
基于Spring Cloud Alibaba 分布式微服务高并发数据平台化(中台)思想+多租户saas设计的企业开发架构,支持源码二次开发.支持其他业务系统集成.集中式应用权限管理.支持拓展其他任意子 ...
最新文章
- MyBatis 一对多、多对一的处理~
- 一劳永逸，iOS 自定义 ActionSheet 封装流程
- .net项目技术选型总结
- linux共享文件权限设置,linux – Windows更改Samba文件共享中的文件权限
- webpack+vue-cli 中proxyTable配置接口地址代理
- 跨平台低延迟的RTMP/RTSP直播播放器设计实现
- 【Spark Summit East 2017】使用Spark MLlib和Apache Solr构建实时实体类型识别系统
- 计算机开始菜单运行程序在哪里,请问谁知道电脑开始菜单里运行的指令大全?...
- android Notification 的使用
- Windows平台下安装MongoDB（集群）
- docker运行oracle11g
- 【运维】安装Ghost镜像系统步骤
- Java模拟账户---关键字this
- 目标检测使用的数据增强方法汇总
- 程序通过命令行获取操作系统名称+版本+CPU名称等各种信息
- 正态分布离群值检验——偏度与峰度方法
- 【python】PLY词法分析实验「编译原理」
- SSM框架搭建详细解析
- 2021年“深育杯“网络安全大赛Writeup
- 华为设备配置Hub and Spoke