第四代数据平台技术：数据云平台
当前社会已经进入一个企业数据高速膨胀的时代，近几年，每年全球的数据规模平均以40%的速度增长。在云计算、大数据技术并驾齐驱发展几年后，两个技术逐渐融合，数据平台的技术在云计算的助力下，能够支持更复杂的业务发展需求。本文就介绍一下基于云原生架构的第四代数据平台技术：数据云平台。
数据平台技术的发展从80年代开始，最早是小型机支持的ORACLE，DB2, 到2000年前后达到技术高峰的大规模并行处理MPP技术的一体机，代表有Greenplum, Teradata； 2000年以后，出现了Hadoop技术为基础的cloudera, Spark。如今，基于云原生架构的第四代数据云平台技术已经逐渐成为主流技术。数据云平台技术的典型代表国外是2020年上市的snowflake公司, 国内是北京偶数科技有限公司。
本文就数据云平台的趋势和特点做简单分享。
（1）数据平台的发展趋势；
（2）数据架构的发展演变
传统数据仓库解决了企业结构化数据的管理和应用需求，数据湖引入了非结构化数据做格式化处理，并继续通过传统数据仓库架构提供服务。
数据湖的架构有2个显著的缺点：（1）多份数据，浪费存储空间；(2)数据传输可能出现数据质量问题，导致业务受影响。
数据云平台架构的出现，解决了这些问题。在统一的云平台基础架构基础上，通过计算和存储分离的架构，实现数据管理和服务。
（3）数据云平台和数据中台有哪些区别？
在几年前阿里提出中台概念，陆续出现了数据中台，业务中台，算法中台等等。简单来讲，中台就是将底层的资源通过软件管理以服务的方式提供给业务部门使用。
数据中台从技术角度看是一个业务范畴的名词，数据中台的服务场景涉及到云服务的一些基本特性：服务封装，服务目录，自助服务等。通过资源管理工具将底层资源封装成不同类型不同级别的服务，并通过统一的服务目录为用户提供自助服务，业务部门可以自助的从服务目录中选择自己需要的服务。但是数据中台的底层还是需要数据平台技术的支撑。如果数据平台技术有局限性，例如跑批的性能无法满足业务需求，那么数据中台的服务能力也就无法实现对业务的很好支撑。
数据云平台从技术角度看是数据平台演变过程中最新的基于云原生技术架构的解决方案。去年在美国上市的snowflake也是基于分布式云数据库的技术，并且提出了datacloud数据云的说法。
在国内，数据云的代表公司是北京偶数科技有限公司，公司长期致力于云原生的高性能数据仓库产品(OUSHUDB)的研究开发，目前已经成为国内排名前列的国产自主可控技术的大数据公司，在人工智能和图数据库技术方面也有深入研究。2020年下半年偶数科技公司和国内爱分析咨询公司联合编著了《数据平台技术发展白皮书》，在数据平台发展趋势分析中首次提出“数据云平台”的名词解释，对数据云平台从各个角度做了详细的定义，包括技术架构，技术特点，技术优势，业务场景等，为国内各企事业单位和公司在大数据平台技术选型提供了有价值的参考和指引。偶数科技自身也推出了数据云的整体解决方案，并在国内保险，运营商，公安，制造等行业进行了方案的落地实施。
2021年3月，星环科技在其产品发布会上宣布将于5月推出TDC（星环数据云）产品，并且也提出数据云技术的产品是其未来的发展目标。在偶数科技作为数据云领军企业的推动下，越来越多的大数据企业正在推出数据云的解决方案。
（4）数据云平台的技术特点和优势
（5）数据云平台由哪些元素组成？
“数据云平台”是新一代的数据基础设施，它能够依托云原生特性、计算存储分离架构、强ACID特性、强SQL标准支持、Hadoop原生支持、高性能并行执行能力等一系列底层技术的变革，实现高弹性、强扩展性、强共享性、强兼容性、强复杂查询能力、自动化机器学习支持等上层技术能力的变革，最终帮助企业有效应对大规模、强敏态、高时效、智能化等愈发明显的数字化趋势。
数据云平台的构成主要由云原生数据仓库、数据管理平台、自动化机器学习平台构成整体解决方案。以偶数科技的数据云平台解决方案来说，主要由OUSHUDB云原生数据仓库，LAVA数据管理平台和Littleboy自动化机器学习平台三大产品组成。
（6）数据云平台的典型应用场景
某世界五百强企业在实时数仓技术选型的技术选型POC测试后，该企业技术负责人对偶数科技的数据云平台技术赞赏有加。
该企业当前的实时数仓业务场景中，使用MPP产品实现跑批业务，但是无法满足同时进行500并发明细查询的混合负载的需求。于是，该企业考虑了两种方案：
（1） 在当前跑批的生产环境，引入支持并发明细查询的实时数仓产品，与MPP产品搭配，在前端获取Kafka流数据后，按照数据类型分别完成跑批和实时查询的工作。
（2） 寻找一种能同时支持跑批和实时查询的混合负载的数据平台解决方案；
从上述两个方案来看，第一个方案无法实现数据共享，如果后端的数据分析同时需要批量数据和实时查询的数据，就需要专门开发对接两个不同产品的程序。第二个方案显然是可以解决第一个方案的问题，但是，从市场来看，能够支持第二个方案的技术非数据云平台技术莫属。
经过POC测试，偶数科技的数据云平台成功达到了客户第二个方案的预期。在下一步的实时数仓的建设中，该企业规划用两个阶段来逐步建设数据云平台集群。
第一阶段：继续采用传统的MPP技术作为日常跑批业务，同时采用实时数仓作为配套方案支持高并发实时查询的业务处理。第一阶段同时规划一个新业务集群，采用数据云平台技术，以满足与人工智能有关的创新业务。
第二阶段：将更多的需要混合负载的复杂业务迁移到数据云平台，逐渐将数据云平台发展成为实时数仓的核心处理和服务平台。
（7）数据云平台的未来发展
不久的将来，数据云平台的技术很快就会成为各大企业数据平台建设的技术主流技术，在人工智能，物联网，区块链等新技术领域发挥其重要价值。欢迎更多的企业同行研究数据云的技术。
第四代数据平台技术：数据云平台相关推荐
- 联通大数据应用及沃云平台支撑能力
联通大数据应用及沃云平台支撑能力 中国联通经过几年的发展,在云计算方面的战略越来越清晰,中国联通制定了在云计算方面的六条发展战略,第一条战略就是建设一流的云计算基础设施,第二是打造一流的公共云平台,第 ...
- 从零开始，打造基于阿里IoT云平台的LoRa解决方案(3)_配置产品功能，将上传数据解析为阿里云平台数据格式
本篇是 <从零开始,打造基于阿里IoT云平台的LoRa解决方案>系列教程的第3 篇,将为大家讲解:1-如何配置产品功能?2-如何将产品的上传数据解析为阿里云平台数据格式? 查看阿里物联网平 ...
- 窄带物联网（NB-IoT）技术开发云平台的系统构架图是什么？
窄带物联网(NB-IoT)技术开发云平台的系统构架图是什么? 窄带物联网(NB-IoT)技术开发云平台由物理层.元数据层.服务支撑层.开发层.应用层等5个层次组成,涵盖数据管理.信息服务.在线开发等三 ...
- 繁易平台对接阿里云平台: MQTT方式
繁易平台对接阿里云平台: MQTT方式 1. 配置阿里云服务 前提条件:要求已注册账号并登录阿里云控制台.创建好实例. 1.1 创建产品 进入阿里云的"物联网平台 控制台-实例". ...
- PHP+新浪微博开放平台+新浪云平台（SAE）开发微博应用基础
分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow 也欢迎大家转载本篇文章.分享知识,造福人民,实现我们中华民族伟大复兴! PHP+ ...
- 物联网云平台介绍-阿里云平台
物联网平台处于软硬结合的枢纽位置.向下接入设备感知层,向上接入面向应用开发基础平台. 阿里云平台端构成: 接入物联网云平台之前,先了解以下概念: 1.产品 以共享单车为例,共享单车是一组具有相同功能的 ...
- PHP+新浪微博开放平台+新浪云平台（SAE）开发微博应用——进一步学习的走向和有用的资源
PHP+新浪微博开放平台+新浪云平台(SAE) --新浪微博应用开发的一个解决方案 一.PHP+新浪微博开放平台+新浪云平台(SAE)方案的基础 二.建立微博应用的过程 三.PHP SDK中Demo程 ...
- PHP+新浪微博开放平台+新浪云平台（SAE）开发微博应用——建立微博应用的过程
PHP+新浪微博开放平台+新浪云平台(SAE) --新浪微博应用开发的一个解决方案 一.PHP+新浪微博开放平台+新浪云平台(SAE)方案的基础 二.建立微博应用的过程 三.PHP SDK中Demo程 ...
- PHP+新浪微博开放平台+新浪云平台（SAE）开发微博应用——PHP SDK中Demo程序简析
PHP+新浪微博开放平台+新浪云平台(SAE) --新浪微博应用开发的一个解决方案 一.PHP+新浪微博开放平台+新浪云平台(SAE)方案的基础 二.建立微博应用的过程 三.PHP SDK中Demo程 ...
- PHP+新浪微博开放平台+新浪云平台（SAE）开发微博应用——必须交待的几个问题
PHP+新浪微博开放平台+新浪云平台(SAE) --新浪微博应用开发的一个解决方案 一.PHP+新浪微博开放平台+新浪云平台(SAE)方案的基础 二.建立微博应用的过程 三.PHP SDK中Demo程 ...
最新文章
- 使用windows.name解决js跨域数据通信
- html5+css3基础教程收集
- Python中的正则表达式（基础）
- python编程大赛队名_团队作业1——团队展示选题
- Linux系统学习之 三：新手必须掌握的Linux命令3
- AMD平台下在Windows虚拟机中安装Mac10.8.3的注意事项
- osg+ActiveQT嵌入ie64位
- 注意！微软宣布将停止支持多个版本的 .NET Framework
- 10个JavaScript常见BUG及修复方法 1
- 购买课程赠老男孩出版的签名新书啦！
- vlan之间Hybrid端口配置
- iOS -- SKTransition类
- Java面试问题 021-030
- 第一个IOS应用终于审核通过了，好开心！
- [导入]陈冠希蛰伏35天后闪电复出 将与舒淇演爱情片
- 需求分析——系统需求和软件需求
- 问题解决：The connection to the server xxxxx:6443 was refused - did you specify the right host or port?
- Adobe登陆出现Access denied解决方法
- ReactDOM.render()函数、条件渲染、列表渲染
- C++的tie()函数