Cloudera果然向云出手了！新机器学习服务采用云原生路径！
今年10月份，Cloudera宣布与Hortonworks合并，这两家Hadoop领域的头部厂商为了抗住主流云供应商亚马逊、微软和谷歌的压力不得不走到一起，根据当时的报道，双方之后会将重心转移到云上。在预计与Hortonworks合并之前的最后一份季度报告中，Cloudera终于向云平台出手，公开DSW的全新云原生预览版并附带原生机器学习服务Cloudera ML，这是Cloudera的首个百分百Kubernetes产品。
Cloudera认为市场的一个重要趋势是迁移到云端，虽然只有大约25-30％的Cloudera基础服务在云中运行工作负载，但云采用的趋势是明确无误的。Ovum预测，明年将有一半新大数据服务在云上运行；第二个趋势是AI，更具体地说是机器学习。Cloudera最初发布DSW就是为了构建、更改和部署数据科学模型，只是最初的DSW没有云端版本。
传统意义上，机器学习服务通常运行在Hadoop之上，但Apache Hadoop社区已着手将Hadoop与HDFS分离，以便云对象存储也可成为一流公民。由于Hadoop不再是运行大数据或机器学习的唯一场所，所以Cloudera ML无论是在Kubernetes集群、本地还是公有云上运行都可以。
考虑到Databricks（适用于Spark），Amazon SageMaker，Azure机器学习和Google Cloud AutoML等服务早已大规模推广，Cloudera现在推出该服务也是有些晚。Cloudera ML通过基于Kubernetes的新架构运行，该架构绕过了内部部署Hadoop集群时的资源调度工具Yarn。需要说明的是，这并不能取代在Hadoop和YARN上运行现有DSW的方式，只是提供了另一个在Kubernetes环境中运行的版本。
这不是Cloudera第一次支持数据科学或ML工作的容器，通过使用容器，Cloudera可以打包物理部署所需的相互依赖性。鉴于最初的DSW针对运行Hadoop集群的用户，因此云原生版本同样如此，其实在YARN上运行Spark也可适应相同的部署，但随着Kubernetes成为云原生计算的事实标准，如果Cloudera真的想向云下手必须接受Kubernetes，而不是Yarn。
Cloudera ML目前处于有限的预览状态，且不对所有人开放预览版本，支持访问云对象存储、HDFS和外部数据库中的数据，部署在公有云中或最终通过OpenShift部署在私有云中均可。
显然，Cloudera还将继续支持内部部署的大数据服务，毕竟这是当前服务的核心。作为一个向云计算扩展的内部部署供应商，Cloudera将通过类似的混合支持开始，并逐渐向云平台过渡。支持混合就意味着添加云原生选项，数据仓库等其他工作也可能从运行Kubernetes集群中受益。
这就不禁激起用户对Hadoop问题的讨论，其实Apache社区也在努力让Hadoop平台更加适合云平台，从分离存储到容纳容器化工作负载，这些都需要一定时间才可以完成。一旦你用云对象存储替代HDFS，用Spark替换MapReduce，也没有什么是无法在云平台上运行的，这就是云对多种类型工作负载的管理和支持。
Cloudera果然向云出手了！新机器学习服务采用云原生路径！相关推荐
- 云起赋新 | 亚马逊云科技高性能计算创新论坛精彩来袭！
高性能计算(HPC)和云计算曾是两个"平行世界",各自演绎着精彩,却鲜有交集. 传统上,HPC主要应用于大规模计算,如天气预报.石油勘探.药物研发等.这些任务通常借助超级计算机或计 ...
- 戴尔科技云平台赋能“新基建”，打造云底座
点击上方关注我们! "新基建"战鼓擂,云计算弓满弦. 在今年"两会"的政府工作报告中,"新基建"被首次写入,为下一步基础设施的建设指明了目标 ...
- 华为云王红新_Veritas与华为云签署合作谅解备忘录推进云数据安全进阶
原标题:Veritas与华为云签署合作谅解备忘录推进云数据安全进阶 近日,Veritas Technologies与华为云在以"+AI, Grow with Intelligence&quo ...
- Linux系统云主机教程,新开的linux云主机磁盘挂载教程
下面蓝队网络给大家实际操作下,挂载linux主机的第二块盘. 查看主机硬盘情况(fdisk -l): 我们看到有sda和sdb两块盘,实际上sda就是我们的系统盘,sdb是我们的第二块盘,新开的云主机 ...
- 华为云王红新_Veritas 与华为云签署合作谅解备忘录 推进云数据安全进阶
原标题:Veritas 与华为云签署合作谅解备忘录 推进云数据安全进阶 新加坡 – 2019年4月25日 – 近日,全球企业级数据保护和软件定义存储市场领域领导厂商 Veritas Technolog ...
- 【观察】“无影”云电脑：让澎湃算力触手可及，重新诠释云时代办公新物种...
想象一下,当你在家中休息时突然接到公司通知需要修改文件,但苦于家中电脑没有存储源文件,此时的你不得不牺牲大把的时间专程跑去公司完成这项工作,可谓"费时又费力".但是,在云计算快速发 ...
- 技术沙龙 | 云时代下的架构演进—企业云及云原生技术落地实践
云改变了IT行业的形态和市场格局,催生了应用的发展.随着云计算技术的不断演进,作为一名优秀的架构师,必须深入了解云计算平台的特点及架构设计,包括构建数据库.大规模落地微服务.Service Mesh和 ...
- 【图文】云栖大会深圳峰会：阿里云ET医疗大脑与工业大脑，机器学习平台PAI2.0...
阿里云新征程:通往智能之路!正式发布ET工业大脑,ET医疗大脑和机器学习平台PAI2.0,阿里云的目标是成为万物智能化的基础设施和智能引擎! 2017年3月27日至29日,云栖大会于深圳举行.29日为 ...
- 落地华东总部、上线创新云、签约AIoT产业基金……京东云南京“新动作”...
京东云一连多个动作,助力南京"领跑"智能产业"新赛道". 1月16日,"京东云智能产业华东区域总部签约揭牌仪式暨京东云产业创新云发布会"在南 ...
最新文章
- Windows服务ServicesDependedOn的奇怪问题？
- git bash退回上一个文件夹
- 数据分析案例（贷款风险预测）
- angular input_Angular 秒杀其它框架的设计之美（一）
- 网络与IO知识扫盲（五）：从 NIO 到多路复用器
- 禁用应用中Android系统的导航栏（特别是平板）
- JDK常用监控指令和监控工具介绍及案例分析使用教程，非常实用！
- Linux系统管理之用户和组
- 一个简单的iBatis入门例子
- 最老程序员创业札记：全文检索、数据挖掘、推荐引擎应用36
- drop table可以删除多张表吗_delete、truncate、drop 有啥区别？该怎么选择？
- bzoj 1057: 棋盘制作（悬线法）
- QT 5 初学1 多窗口切分-续
- java mockserver搭建_使用Moco搭建Mock Server教程
- JAVA动态申请数组
- [转]RUP (From 中科永联)
- 情话套路大全，哈哈哈~~~
- 给正在排版毕业论文的你：高校毕业论文Latex格式排版模版
- 邮箱大师手机版服务器异常,网易邮箱大师无法收信怎么办 网易邮箱大师无法收信的解决办法...
- U盘量产之更改U盘容量大小