前言:在讨论“云原生大数据计算服务”之前,我们先将这个名词进行拆分,分别讨论一下“云原生”、“大数据”、“计算服务”,从而理解为什么需要将它们进行结合。

1、 “云原生”、“大数据”、“云计算”的结合

  • 云原生: 云原生的关键技术“容器化”可以将服务封装成细颗粒度的容器,由于容器具有细颗粒度的特点,可以很方便地调度,从而可以实现Serverless。Serverless可以在需要提供计算服务时,再生成足够的数量容器的实例,容器可以保持在一个极低的数量甚至于无。云原生具有弹性负载、低成本、高效的特点。
  • 大数据: “传统”的大数据平台Hadoop、spark是一种分布式系统,它们的架构不符合云原生的架构,所以不支持云原生的特性。
  • 计算服务: “计算服务”说明MaxCompute是一种云计算的SaaS(Software as a Service),可以消除自建平台的资源扩展性和弹性的限制,同时可以减小用户运维的投入。云计算具有按需供给、按量付费的优势。

通过“云原生”、“大数据”、“云计算”等技术的结合,MaxCompute继承了弹性负载、低成本投入、高效计算的特性。

2、MaxCompute给我们带来的启示

从阿里云提供的MaxCompute官方说明文档上看,它只明确提到了集成的是Spark的计算引擎,但是没有说明它的系统架构。如果我们想设计一个类似的大数据计算平台,可以使用哪些开源技术进行替代。下面给出技术选型的参考:

  • 云原生:kubernetes(提供容器化特性)、knative(提供Serverless特性)
  • 大数据:Spark(大数据计算)、HDFS(大数据存储)
  • 应用服务:Echarts(数据可视化)、Python机器学习三方库……

“云原生”、“大数据”、“云计算”的结合——阿里云的云原生大数据计算服务MaxCompute相关推荐

  1. 一分钟了解阿里云产品:大数据计算服务MaxCompute概述

    阿里云发布了许多产品,今天让我们来了解下大数据计算服务MaxCompute这款产品吧. 什么是MaxCompute呢? MaxCompute是由阿里云自主研发,是阿里巴巴自主研发的海量数据处理平台.提 ...

  2. odps传大文件到oss上_【大数据干货】数据进入阿里云数加-大数据计算服务MaxCompute(原ODPS)的N种方式...

    原文链接:http://click.aliyun.com/m/13946/ 想用阿里云大数据计算服务(MaxCompute),对于大多数人首先碰到的问题就是数据如何迁移到MaxCompute中.按照数 ...

  3. 网易微专业python数据分析统计服_40套大数据云计算高级实战精品,数据分析,数据仓库,数据爬虫,项目实战,用户画像, ......

    40套大数据云计算高级实战精品,数据分析,数据仓库,数据爬虫,项目实战,用户画像,日志分析,Hadoop,Flink,Spark,Kafka,Storm,Docker,ElaticStack等视频教程 ...

  4. 阿里云数加大数据计算服务MaxCompute文章索引(持续更新201705)

    概况介绍: 10年老兵带你看尽MaxCompute大数据运算挑战与实践 什么是阿里云数加大数据计算服务MaxCompute? 一分钟了解阿里云产品:大数据计算服务MaxCompute概述 数加平台如何 ...

  5. 阿里云大数据计算服务 - MaxCompute (原名 ODPS)

    MaxCompute 是阿里EB级计算平台,经过十年磨砺,它成为阿里巴巴集团数据中台的计算核心和阿里云大数据的基础服务.去年MaxCompute 做了哪些工作,这些工作背后的原因是什么?大数据市场进入 ...

  6. 阿里云大数据计算服务MaxCompute(下篇)

    关于阿里云大数据计算服务MaxCompute的详细内容: 阿里云大数据计算服务MaxCompute使用教程 (MaxCompute(原ODPS)是一项大数据计算服务,它能提供快速.完全托管的PB级数据 ...

  7. 阿里云大数据计算服务MaxCompute(上篇)

    关于阿里云大数据计算服务MaxCompute的详细内容: 阿里云大数据计算服务MaxCompute使用教程 (MaxCompute(原ODPS)是一项大数据计算服务,它能提供快速.完全托管的PB级数据 ...

  8. 大数据计算服务MaxCompute行业开发应用案例

    (MaxCompute(原ODPS)是一项大数据计算服务,它能提供快速.完全托管的PB级数据仓库解决方案,使您可以经济并高效的分析处理海量数据.) 大数据计算服务(MaxCompute,原名 ODPS ...

  9. 阿里云大数据计算服务MaxCompute使用教程

    MaxCompute简介 大数据计算服务(MaxCompute,原名ODPS)是一种快速.完全托管的TB/PB级数据仓库解决方案.MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式 ...

  10. 阿里云大数据计算服务MaxCompute

    阿里云大数据计算服务MaxCompute 大数据计算服务(MaxCompute,原名ODPS)是一种快速.完全托管的TB/PB级数据仓库解决方案. 当今社会数据收集手段不断丰富,行业数据大量积累,数据 ...

最新文章

  1. linux停止mysql后又自己启动,Linux上 mysql启动/停止/重启/开机启动/开机禁止启动...
  2. AWS Storage Gateway 分类
  3. [简单]poi word2007表格按模版样式填充行数据
  4. 今日发现的:一个类似Google Baidu的搜索引擎[C#]代码比较简单
  5. linux内核驱动模块开发makefile实例解析
  6. 用phpmyadmin更改root密码的方法
  7. flow 静态类型检查 js
  8. Oracle 数据怎么实时同步到 SQL Server | 亲测干货分享建议收藏
  9. 计算机网络学习笔记:第二章
  10. cta策略 有哪些_CTA量化策略学习笔记
  11. source insight 4 破解
  12. 插件中对动态表单数据模型进行赋值实现动态表单数据绑定
  13. 自制的一个小地图生成器
  14. css基础 CSS 布局 – Overflow、Float 浮动、CSS 布局 – 水平 垂直居中对齐
  15. 如何查看自己的代理ip地址
  16. springboot接收excel数据文件去重
  17. C语言刷题6:给定b的值,输入a和m,求a*b和a^m的值
  18. 计算机网络按传输介质分为哪几类,计算机网络按传输介质可分为哪三类?
  19. whose UTF8 encoding is longer than the max length 32766
  20. 将特殊字体添加到了html页面中

热门文章

  1. DM642中gel文件
  2. Python——Flask基础学习
  3. mysql like多个条件or关系_字段like多个条件(or关系)简写
  4. 图卷积神经网络GCN原理+图结构学习+GAT+VGAE
  5. 自适应流媒体传输(五)——正确认识码率切换
  6. 无偿分享 简单易用 贝茨训练法 调节睫状肌 近视恢复训练
  7. Cisco Firepower 9300 Series FTD Software 7.2.0 ASA Software 9.18.1
  8. Python:设置不显示Using TensorFlow backend及FutureWarning: Passing (type, 1) or ‘1type‘ as a synonym of typ
  9. Python学习之列表--自动超市购物车
  10. 英语情景对话计算机的优缺点,关于英语面试优点缺点口语句型|情景对话