文章讲的是不要犹豫 了解这些即可玩转阿里云ODPS,从7月8日,阿里云ODPS正式开放商用至今已有一周有余,网上关于ODPS商用的话题热度非常之高,除了好事儿的不怕热闹的过来瞧瞧之外,对于那些真正憋了多年,决心将大数据事业进行到底的企业用户,他们“圣战”的时刻终于到了。

  关于ODPS平台的诸多优势,以及对产业的影响,已经有太多篇幅的报道了,本文不想过多的做重复报道,重点是从用户角度出发,发掘他们对ODPS的需求,进而帮助用户更好的应用ODPS。

  通过对这些用户调查了解到,他们更关心ODPS是否安全、咋用、好不好用、需要作何准备、价格是否公道等等。也看出了这些用户的可爱之处,同时也看到他们对ODPS的期望(或许是市面上这些所谓的大数据平台对他们来说不怎么靠谱)。


▲阿里云ODPS商用大数据平台

  开门见山ODPS是什么?能干什么?

  要想了解ODPS,不妨先看一下阿里云的整体架构:最底层是Linux+PC Server,上层软件是飞天,飞天是阿里云09年开始开发的一款分布式系统软件,主要提供分布式存储和分布式计算的调度、编程框架。开发语言是C++, 2013年该系统在生产环境支持调度5000台机器的集群。

  ODPS是在飞天之上提供的一套服务,功能包括SQL,基于java的Mapreduce编程框架,图计算编程模型,一系列机器学习算法的实现等等。所有的功能是以RESTful API的形式对外提供,所以从系统边界上说,这层API隔离了ODPS平台和用户的系统,和hadoop的区别也很明显。ODPS设计之初就是为了对外开放,做基于互联网的多租户的公共数据处理服务,所以安全性在ODPS的设计和实现中具有最高的优先级。

  简单来说,ODPS(Open Data Processing Service)是一项Web服务,大家不用花大钱建数据中心,就能分析海量数据。看到这个介绍,大概就知道ODPS是干嘛的了。也可以和自建数据中心做个区分。

  按照阿里云测试,100PB的数据任务可在六个小时内跑完,这个数据量相当于1亿部高清电影,够厉害了吧。

  使用ODPS安全性靠谱吗?

  有这个疑问的用户,说明对云计算本身还有一些顾虑,也说明企业对云计算有尝试的需求。的确,数据是企业的核心资产,这个已经被广泛认识到了,以至于企业采用非常多的手段对数据进行保护。企业应该认识到,自己的数据保存到服务器中,肯定会面临机房安全、黑客攻击、内部流程和人员安全等多项挑战,做到这些防护就能100%的安全了吗?这里要打个问号。

  安全问题是老生常谈,但是不谈就打消不了用户的疑虑,这里就做个说明。可以说,现在对云计算安全的顾虑,就跟当年对公共电网的顾虑一样。现在谁不用公共电网?银行刚刚诞生之初,老百姓觉得把钱放到自己身边最安全,现在不都放到银行了?道理很简单,安全性是一个理念,需要大家慢慢适应,但是走向云端是必然的道路。

  结合阿里云ODPS,从具体的安全措施来讲,ODPS是国内首家通过了CSA-STAR和ISO27001两项国际云安全认证的公司,在各个环节都采纳了国际上最先进的数据安全管理标准。在技术上,ODPS采用了多项技术保证用户存储在阿里云的数据不丢失、不泄露、不越权访问;从管理上,阿里云内部对于ODPS的运维和运营人员的操作有严格的监控和审计,确保内部人员不会接触到用户的数据。

  ODPS通过API提供服务,包括数据上传、下载、计算,所有API请求都是经过认证的,所有API请求都可以走https加密。从平台设计和技术实现角度说,ODPS充分考虑了数据安全性,ODPS团队对于平台的优先级定义是数据安全性大于可用性大于规模的。

  空口无凭,举例为证。阿里巴巴作为ODPS最大的用户,已经率先做了安全性实践。1)阿里的业务数据都将运行在ODPS上,外部用户与阿里集团享受相同的高安全等级。2)除了企业用户外,目前也在帮助政府客户合作上云。这些大企业和政府客户,比如一些银行、飞利浦、美的、中国气象局等,对数据安全的考虑非常严格,他们最后决定上云,也是对阿里云的数据安全性经过了全方位的评估。

  用ODPS应该做哪些准备工作呢?

  认清ODPS的产品价值以后,你是否已经鼓足勇气决定借力ODPS大干一场?别慌,你先做一些准备工作。

  一方面,使用ODPS也有一定的技术门槛。比如至少要懂得处理数据的基础技能,比如SQL语言。或者是一个程序员,懂得通过编写Java程序或者编写脚本。

  另外,还要具备数据敏感度以及对业务的理解。目前参加天池大赛的学生,他们通过对数据有更好的理解,进行设计更好的算法,取得更好的处理结果。

  ODPS如何收费?针对中小企业方面有没有优惠政策?

  成本是企业发展中最重要的因素,作为用户会问,使用ODPS的解决方案,我的成本会降低多少?阿里云的回答是,比传统方式成本至少节约一半。ODPS是按使用后付费的产品,用户的数据存储和计算一定有波峰波谷,企业不必为了应对峰值而采购额外的机器,而仅仅需要为了使用的资源而买单。更为关键的是服务的方式,极大地降低了技术门槛。企业不用为了Hadoop人才难觅而发愁。大企业财大气粗,不差钱,只要能确保解决问题一切都OK。但是中小企业没这么阔气,精打细算还是必须滴。

  针对中小企业ODPS有木有优惠政策?答案是肯定的。阿里巴巴就是通过不断的扶持中小企业,甚至是小微企业才得以建立了庞大的商业帝国,这些小企业是阿里的根基,当然不会置之不理。

  阿里云ODPS产品经理汤子楠说,希望通过ODPS让更多的中小企业感受和利用大数据的价值,除了产品本身外,后续还会推出一系列的服务,比如帮助用户设计数据模型,引导用户更合理更低成本的使用ODPS,比如对用户进行ODPS和大数据方面的培训,比如提供基于ODPS的可视化BI分析工具等等。这些服务在初期会以免费或低价的方式提供给用户,最大化的降低用户使用大数据的成本和门槛。有了阿里官方的说法,中小企业主大可放心了吧。

  目前ODPS有哪些成功案例值得借鉴?

  生于阿里,阿里云自然将阿里业务作为服务对象,甚至阿里巴巴的诸多业务都已经成为了ODPS的客户。

  ODPS之前一直在阿里内部试用。第一个"小白鼠"是阿里小贷。现在,超过36万人从阿里小贷借款,最小贷款额1块钱,并实现3分钟申请、1秒放款、0人工干预。要做到这一点,阿里小贷每天得处理30PB数据,包括店铺等级、收藏、评价等800亿个信息项,运算100多个数据模型,甚至得测评小企业主对假设情景的掩饰和撒谎程度。另外,阿里小贷每笔贷款成本3毛钱。

  华大基因,2003年国内抗SARS研究的主力军。去年,华大在ODPS上试了下基因测序,耗时不到传统方式的十分之一。

  公共领域的数据挖掘,如今,每盒药品上都有一张电子身份证,从生产、流通、储存、配送、销售到使用,全过程的数据都跑在ODPS上,一旦发现问题药品,监管部门可以立即采取措施。

  眼下,阿里巴巴各项数据业务都在用ODPS,比如淘宝在算你最中意哪个淘女郎,天猫在算你什么时候想吃车厘子,菜鸟在算卡车走哪条路可能会被雷劈,支付宝在算你何时会从屌丝变成高富帅。

  ODPS强大的生态圈计划 企业如何参与并获利?

  ODPS是一个强大的数据计算引擎,结果的输出需要各种计算模型的支撑,计算模型一方面ODPS平台会提供,但是也需要打造生态圈,借助生态圈的力量不断的完善ODPS。

  ODPS作为开放的商用平台,也欢迎更多的生态圈伙伴参与进来,这些伙伴包括四个方面:1、服务和应用供应商,提供商业智能和数据应用。2、数据的生产,可以是企业也可以是个人。3、数据的加工,他们可以是咨询公司、行业专家。4、数据消费,包括广告、客户满意度改进、模式创新、精准推荐等。

  ODPS产品经理汤子楠提到一点,参与到生态圈中,大家共同获益,既可以为生态圈提供资源,也可以从中获益。

  最后,借用阿里云事业部总裁王文彬的话:“阿里云ODPS是一个系统工程,工程不可能是完美的,ODPS还在不断的发展中,希望大家多一些耐心。”作为用户,可以说目前ODPS已经开创了在线处理大数据商用的先河,值得道贺,也值得期待。用户在使用过程中有更多的疑问欢迎提出(微信 搜索景保玉,关注公共账号 小新有话说,微博 @景保玉)这也是为ODPS的完善做出一份贡献。

作者:景保玉

来源:IT168

原文链接:不要犹豫 了解这些即可玩转阿里云ODPS

不要犹豫 了解这些即可玩转阿里云ODPS相关推荐

  1. 劢领AT| 五分钟,零基础玩转阿里云物联网套件

    劢领AT| 五分钟,零基础玩转阿里云物联网套件 阿里云准备工作 新建产品 添加设备 WIFI模块及设备连接 AT指令方式 配置网络 一步到位,直接连接阿里云 发布与订阅消息 订阅主题 说明 阿里云准备 ...

  2. 一张图教你玩转阿里云双11上云狂欢节

    一年一度的双11狂欢节已经开启啦!下面一张图教你如何玩转阿里云双11上云狂欢节! 双11主会场地址:http://click.aliyun.com/m/1000305076/

  3. DAX/PowerBI系列 - 玩转阿里云 Alicloud Pricing

    DAX/PowerBI系列 - 玩转 阿里云主机 Ali Cloud ECS 难度: ★★☆☆☆(1星) 适用范围: ★★★☆☆(3星) 欢迎交流与骚扰 这是啥: 双十一就到了,码农门,程序猿们有没有 ...

  4. 新课上线 | 每次 5 分钟,轻松玩转阿里云容器服务!

    在云原生带来的云计算未来趋势下,容器已经成为用户使用云的新界面.据 Gartner 预测,到 2023 年,70% 的组织将在生产环境中运行三个或更多容器化应用程序.容器技术和服务为企业业务发展带来敏 ...

  5. 7天玩转阿里云服务器第1天:云服务器ECS是什么

    7天玩转阿里云服务器第1天:云服务器ECS是什么

  6. 大学生如何玩转阿里云?

    这的问题让我来答真的是太适合不过了哈哈,我也是大学期间一步一步阿里云用上来的.我本人也是阿里云针对大学生和新手推出的 <云计算的1024中玩法>系列视频和专栏的作者(当然了,版权都是阿里云 ...

  7. python连接阿里云odps

    怎么下载他的库这个就自行百度了,配置完毕之后就用以下代码即可用python连接阿里云odps的数据库了. from odps import ODPS o = ODPS('嘿嘿嘿', #这个地方是阿里云 ...

  8. python学习之路:python连接阿里云ODPS

    python学习之路:python连接阿里云ODPS 前言 本人最近在学习使用ODPS,希望把学习过程记录下来,方便自己查阅. 1.安装ODPS pip install ODPS 2.连接阿里云odp ...

  9. cooleditpro批量加速文件_Python玩转阿里云OSS对象存储,批量转存markdown和html图片

    今天我又在玩自己的博客了,偶然发现我从语雀批量导入的文章,在手机端图片只显示一部分,怀疑是网站防盗链,于是想把图片全部转移到我的阿里云对象存储里面. 但是找了半天都找不到现成的工具和代码,无奈只能自己 ...

  10. 产品经理教你玩转阿里云负载均衡SLB系列(一):快速入门--什么是负载均衡

    摘要: 负载均衡是一种技术,从字面意义上理解,就是让负载(变得)均衡,负载是什么呢?可以理解为工作量.工作强度.用日常生活中的例子来打比方,一群建筑工人,盖一幢楼房,有搬砖的,有和水泥的,有砌墙的,有 ...

最新文章

  1. 如何判断DropDownList中是否包含某个项
  2. UA MATH565C 随机微分方程V Stationary Measure
  3. 在 react 里写 vue3 ? 还写了自定义 hooks和 Hoc 构建了响应式 !
  4. 程序员在周末学习的8个实用技术
  5. 罗永浩签约抖音后,带货首秀或将献给小米,你看好这笔生意吗?
  6. hdu 2255 奔小康赚大钱 KM算法
  7. upc 9325 序列本质
  8. 4. 怎么在生活中提升专注力?
  9. train_image_classifier.py:Cannot assign a device for operation CifarNet/conv1/Conv2D: node CifarNet
  10. 百度 | 2022年科技趋势预测
  11. WLAN配置实例(一)——二层组网直接转发
  12. VS2010/MFC设置对话框控件的Tab顺序
  13. 《Greenplum5.0 最佳实践》 迁移数据使用Gptransfer
  14. MySQL的详细安装教程和配置过程(附安装包)
  15. 设备树文件里的aliases和chosen
  16. Qt 获取硬盘可用字节
  17. fluent转载内容
  18. 百度创始人李彦宏:互联网的下一章
  19. 福大软工1816 · 第一次作业——准备
  20. 数学分析(6): 微分

热门文章

  1. Atitit 输入法原理与概论ati use
  2. atitit.html5动画特效----打水漂 ducks_and_drakes
  3. paip.按键精灵调用其它程序及DLL以及EXE命令行的方法
  4. 银联支付接口常见错误总结
  5. (转)Atom安装插件被墙,解决方案:给apm设置中国国内镜像
  6. (转)量化投资大师采访摘录-詹姆斯·西蒙斯 James Simons
  7. “云湖共生 • 数智未来”数据湖应用实践白皮书重磅发布
  8. 云智能,助力警务大数据云平台建设
  9. 毕设题目:Matlab图像增强
  10. 有序多分类Logistic回归(图文+数据集)【SPSS 079期】