概况介绍

大数据计算服务(MaxCompute,原名ODPS,产品地址:https://www.aliyun.com/product/odps)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。本文收录了大量的MaxCompute产品介绍、技术介绍,帮助您快速了解MaxCompute/ODPS。

  • MaxCompute 2.0:阿里巴巴的大数据进化之路
  • 性能追求之路——MaxCompute2.0(原ODPS)的前世今生
  • 10年老兵带你看尽MaxCompute大数据运算挑战与实践
  • 什么是阿里云数加大数据计算服务MaxCompute?
  • 一分钟了解阿里云产品:大数据计算服务MaxCompute概述
  • MaxCompute(原ODPS)技术架构及应用实践
  • 【视频】不要犹豫 了解这些即可玩转阿里云MaxCompute
  • MaxCompute产品详情页
  • odps是什么?
  • 阿里云双11访谈之MaxCompute
  • 【逐云】阿里“水电煤”背后的人物故事

    2.0专题

    最新推出的MaxCompute 2.0,在高性能方面主要依托于全新的SQL 2.0计算引擎。在新功能方面提供了非结构化的处理,在云上开始使用OSS(开放的对象存储)、OTS(开放的表格存储),MaxCompute对其进一步分析和计算提供了连接性。机器学习在新版本中提出了CPU和GPU统一的架构,在富生态中也提出了新的能力。本文收录了MaxComputeV2最新的使用攻略,帮助开发者更快的了解并玩转MaxCompute2.0。

    • MaxCompute 2.0 NewSQL演进之路
    • MaxCompute2.0 对开源系统的支持与融合
    • MaxCompute2.0索引优化实践
    • MaxCompute 2.0 基于BigBench标准的最新测试进展
    • MaxCompute 2.0 生态开放之路及最新发展
    • MaxCompute 2.0—从ODPS到MaxCompute
    • MaxCompute2.0性能评测:更强大、更高效之上的更快速
    • MaxCompute上如何处理非结构化数据
    • MaxCompute访问TableStore(OTS) 数据
    • MaxComputeSql性能调优
    • 生态与兼容:MaxCompute大数据生态集成和开发工具
    • MaxCompute理解数据、运算和用户的大脑:基于代价的优化器
    • Vectorized Execution Engine in MaxCompute 2.0简介
    • MaxCompute与OSS非结构化数据读写互通(及图像处理实例)
    • 基本及复杂数据类型扩展(TINYINT、SMALLINT、 INT、 FLOAT、VARCHAR、TIMESTAMP 、 BINARY、ARRAY、MAP、STRUCT )
    • DML(INSERT操作、SELECT操作)及内建函数(日期函数、数学函数、字符串函数)更新
    • MaxCompute2.0 - ODPS重装上阵 第一弹 - 善用MaxCompute编译器的错误和警告
    • MaxCompute2.0 - ODPS重装上阵 第二弹 - 新的基本数据类型与内建函数
    • MaxCompute2.0 - ODPS重装上阵 第三弹 - 复杂类型
    • MaxCompute2.0 - ODPS重装上阵 第四弹 - CTE,VALUES,SEMIJOIN

    评测

    MaxCompute在业内证明了其几大优势:极低的自建成本,卓越的性能打破了四项世界纪录,优秀的架构确保了企业数据在整个生命周期内的安全性;通过自身核心竞争力和市场成绩单,斩获用户好口碑。本文收录了MaxCompute所有评测、技术奖项、等级证书等相关知识。

    • 2017大数据标准化论坛发布了第一批大数据系统测试结果,阿里云数加获得了大数据系统测试证书。
    • 可靠、安全、易用,阿里云数加大数据平台首批通过国家大数据标准检测
    • 7倍!阿里云的MaxCompute居然比自建Hadoop便宜这么多
    • MaxCompute把100TB数据的排序时间缩短到了377秒,打破了此前由微软、雅虎等公司保持的纪录,获得全球4项世界冠军。
    • 持续创新和改进,为用户创造最大价值,阿里云数加MaxCompute获得C-Tech Awards 2016年度“最具技术创新奖”
    • MIT评出全球十大突破性技术 阿里巴巴连摘两项
    • Gartner公布2017年全球云计算魔力象限:阿里云进入前四
    • Gartner全球IAAS市场报告:阿里云进入全球前三
    • BigBench on MaxCompute 基准测试套件简明安装与运行指南
    • CloudSort 阿里云 2016 夺冠,性价比高出 AWS 保持的世界记录三倍
    • 阿里云2017计算能力实现多项突破 BigBench规模全球首次被拓展至100TB

    开发套件专题

    MaxCompute支持多款开发套件,如数加DataWorks,可以很方便的完成多源异构数据的同步、脚本开发、定时调度,MaxCompute Studio提供本地化的智能编辑器、Job分析,让代码更高效。本文收录了大数据开发套件的相关介绍、使用教程、最佳实践,帮您玩转大数据开发套件。

    DataWorks

    • DataIDE大数据开发套件官方教程
    • 阿里云大学精品课程:深入理解阿里云数加大数据开发套件Data IDE-基本知识
    • 大数据开发套件-数据集成-云mongo跨区域如何同步到Maxcompute
    • 【大数据开发套件调度配置实践】——调度任务各种周期配置和调度形态
    • 阿里云大数据开发套件 新手不得不面对的问题(持续更新)
    • 【大数据开发套件调度配置实践】——不同周期任务依赖配置
    • 数据库工程师快速上手MaxCompute进行ETL
    • 基于DataIDE数据集成实现香港ECS上的MySQL数据同步到数加MaxCompute
    • 【大数据新手上路】“零基础”系列课程--MySQL 数据整库迁移到 MaxCompute
    • 阿里巴巴下一代数据集成技术

    MaxCompute Studio

    • 深入阿里云大数据IDE–MaxCompute Studio
    • 使用 MaxCompute Studio 开发大数据应用
    • MaxCompute Studio提升UDF和MapReduce开发体验
    • ODPS Studio 2.6.2 版本发布了
    • 用 MaxCompute Studio 查看作业排队详情
    • MaxCompute模板与样例
    • MaxCompute(原ODPS) Studio 2.7.0 版本发布,让代码效率更高
    • IDEA集成MaxCompute
    • 通过MaxCompute Studio创建UDF的简单介绍
    • MaxCompute Studio 2.8.1 新版本发布啦!
    • MaxCompute Studio使用心得系列1——本地数据上传下载
    • MaxCompute Studio使用心得系列2——编译SQL脚本
    • MaxCompute Studio使用心得系列3——可视化分析作业运行
    • MaxCompute Studio使用心得系列4——可视化查看所有job并分析运行情况
    • 阿里云全新一代企业级新品解读—通过MaxCompute Studio实践大数据时代的DevOps

    机器学习PAI专题

    MaxCompute提供基于GPU的深度学习算法框架,在线预测服务等,以极低的代价帮助您的业务从BI时代跨入AI时代,真正实现人工智能触手可及。本文收录了机器学习技术原理、实践等相关知识,帮助开发者快速掌握机器学习。

    • 机器学习——让人工智能触手可及
    • 大规模深度学习优化技术在PAI平台中的应用及实践
    • 阿里云工程师用机器学习破解雾霾成因
    • 大规模数据的分布式机器学习平台
    • ODPS—MPI机器学习编程框架
    • 人工智能居然会模仿人类品酒
    • 用炸弹开路——加速到来的证券投资行业人工智能时代
    • 阿里云机器学习平台的思考
    • 机器学习系列直播--使用对抗神经网络(GANs)生成猫【8月30日 20点不见不散】

    图计算Graph专题

    MaxCompute Graph 是基于飞天平台实现的面向迭代的图处理框架,为用户提供了类似于 Pregel 的编程接口,本文收录了图计算的介绍、技术原理、实践,帮您来更多的了解Graph。

    • 图计算Graph 介绍
    • 基于MaxCompute的图计算Graph 实践分享-图加载过程
    • 基于MaxCompute的图计算Graph 实践分享-解析图加载过程
    • 基于MaxCompute的图计算Graph 实践分享-Aggregator机制介绍
    • 基于MaxCompute的图计算Graph 实践分享-可配置参数列表(持续更新)
    • 基于MaxCompute的图计算Graph 实践分享-常见问题解决及优化指南

    MapReduce专题

    当大数据业务逻辑很复杂,用SQL配合UDF(包括UDAF和UDTF)也无法实现的时候,可以使用MapReduce MapReduce来实现。本文收录了MapReduce的介绍、技术原理、实践,帮您来更多的了解MapReduce。

    • MaxCompute MapReduce介绍及技术原理
    • MaxCompute MapReduce(MR)如何收费
    • MaxCompute MapReduce细节解读
    • MaxCompute MapReduce的7个性能优化策略
    • MaxCompute(原ODPS) MapReduce常见问题解答

    UDF专题

    • MaxCompute UDF系列之身份证校验及15位身份证号码转换成18位
    • MaxCompute UDF系列之判断字符串中是否包含汉字
    • MaxCompute UDF系列之全角转半角
    • MaxCompute SQL引用第三方Base64JAR实现编解码
    • MaxCompute UDF系列之拼音转换
    • MaxCompute中实现IP地址归属地转换

    客户案例

    MaxCompute在短短的几年时间里,改变了很多行业,积累了大量的客户成功案例。比如东润环能在3个月内业务全面交付云端,数据处理时间不到原来自建方式的1/3,并确保云上数据安全无忧。墨迹天气日志分析业务迁移到数加MaxCompute后,开发效率提升了超过5倍,存储和计算费用节省了70%,每天处理分析2TB的日志数据,更高效的赋能其个性化运营策略。本文收录了大量的客户案例,总有一款适合您。

    • 阿里云MaxCompute携手华大基因打造精准医疗应用云平台
    • 借助数加,原来需要2-3天的单维度数据处理时间,目前仅需3-6小时,研发周期更短,产品需求符合度更高。
    • 大数据打造你的变美频道——数加平台上小红唇的大数据实践
    • 阿里云与国家天文台成立天文大数据联合研究中心
    • 阿里云参与两大国家工程实验室获批,人工智能继续深入工业制造
    • 借助阿里云数加,小小的美甲行业被美甲帮玩出了天价
    • 美甲帮:玩转指甲上的大数据平台
    • 大数据打造你的变美频道——数加平台上小红唇的大数据实践
    • 与阿里云整个生态体系共同成长,更快更好的为房地产行业客户提供高价值的服务
    • 苏州协鑫与阿里云合作阶段性完成,良品率已提升1%
    • 禾连健康CDO沈金:谈云时代的大数据平台架构
    • 小硅片与大数据的结合 ——协鑫光伏的新制造之路
    • 墨迹天气-轻松处理每天2TB的日志数据,支撑运营团队进行大数据分析挖掘,随时洞察用户个性化需求
    • 阿里云数加让企业更专注于业务,助力东润环能高效利用大数据资源
    • 纯云大数据系统的构建与价值
    • 阿里云数加助力东润环能开启新能源大数据时代
    • 赋能平台、提效工具、场景化应用,地产大数据玩转有诀窍
    • 产品3周迭代一次,启信宝驾驭8000万企业征信的平台架构
    • 日交易笔百万级,Ping++的大数据平台架构
    • 专访佰腾科技大数据团队,谈专利大数据领域的挑战与实践
    • 佰腾科技的专利大数据的云上裂变之路
    • 技术创业难?看汇合营销如何玩转大数据与机器学习
    • 数据让生意更简单,网聚宝创业团队利用数加快速打造核心业务竞争力,在激烈的市场竞争中弯道超车。
    • 网鱼网咖-利用数加快速搭建大数据平台,极致洞察,为客户带来从所未有的体验。
    • 年服务人次3300万+,网鱼网咖的大数据挑战及架构
    • 友盟这家数据公司为什么能成为数百万企业的选择?
    • 数加平台协助汇合营销快速行动,捕获转瞬即逝的商机。
    • 全民直播牵手阿里云,技术升级触发直播新体验
    • 3天撸完一个团队半年的项目,单客户数据动辄几百万的行业也玩云?
    • 杭州治堵有“智慧” 阿里云数加激活城市大脑
    • 堵车预测神器诞生,浙江已用来治疗高速顽疾
    • 小团队拥有大能量 三十个年轻人的创业故事
    • 完成数据的打通-豌豆荚被阿里巴巴收购后的168天
    • MaxCompute助力北斗大数据,千寻位置3秒实现厘米级定位
    • 30秒在线卖出3000套房,对于云系统来说只是小意思!
    • 阿里怎么发工资?自研薪酬管理系统首次曝光
    • 《能源地图》:阿里云数加MaxCompute轻松处理8000亿条气象数据
    • 阿里妈妈MaxCompute架构演进 - AON(MPI)集群
    • 数据生意背后的云计算
    • 登月1号:支付宝演绎空中升级绝技
    • 御膳房:构建大数据的美食厨房
    • OFO:Maxcompute的任务状态和多任务执行
    • 仁人帮探索大数据技术
    • 融合大数据能力,解决在存量时代下的力分之困
    • MaxCompute2.0助力众安保险快速成长
  • 美柚-MaxCompute为女性健康护航

新手入门

为MaxCompute新手用户提供入门级教程,如操作介绍、计量计费、数据上云、云上分析,帮助用户完成第一个SQL数据分析。

  • 阿里云数加大数据计算服务MaxCompute学习路线图 (持续更新中)
  • 【大数据学习】数据化运营并不难?关键是这些技术你get了么?!
  • MaxCompute 学习计划(一)
  • MaxCompute 学习计划(二)
  • MaxCompute 学习计划(三)
  • MaxCompute(原ODPS)开发入门指南——数据上云篇
  • MaxCompute(原ODPS)开发入门指南——计量计费篇
  • MaxCompute(原ODPS)开发入门指南——数据开发工具篇
  • MaxCompute常用语句汇总(更新ing)

计费购买

提供MaxCompute计量计价说明,计费工具,售前计费沟通支持。

  • 计量计费说明
  • 价格计算器-小工具下载
  • 购买咨询专家群
  • 帮助企业做好MaxCompute大数据平台成本优化的最佳实践
  • 三分钟教你学会分析MaxCompute消费明细
  • 教你开通MaxCompute自动续费

技术峰会

收录各界MaxCompute大数据技术峰会,多位技术大咖、行业实践者从技术与业务两个方面,与大家探讨大数据如何最快落地到实践。

  • [干货]作为大数据入门者,你不得不知道的2017杭州云栖大会
  • 双管齐下,MaxCompute数据上云与生态
  • 【直击深圳云栖大会大数据专场】陈鹏宇分享主题—数加:迈向数据智能之路
  • 技术与架构,解析如何将大数据最快落地到实践
  • MaxCompute Next
  • MaxCompute 2.0 性能优化揭秘

·         演讲视频:http://yq.aliyun.com/webinar/play/188

·         PDF下载:https://yq.aliyun.com/attachment/download/?id=1449

·         演讲整理文章:https://yq.aliyun.com/articles/72240

MaxCompute大数据语言的新发展

·         演讲视频:http://yq.aliyun.com/webinar/play/189

·         PDF下载:https://yq.aliyun.com/attachment/download/?id=1448

·         演讲整理文章:https://yq.aliyun.com/articles/72284

大规模流式增量计算及其在阿里巴巴的应用

·         演讲视频:http://yq.aliyun.com/webinar/play/190

·         PDF下载:https://yq.aliyun.com/attachment/download/?id=1444

·         演讲整理文章:https://yq.aliyun.com/articles/72242

PAI分布式机器学习平台计算模型演进之路

·         演讲视频:http://yq.aliyun.com/webinar/play/191

·         PDF下载:https://yq.aliyun.com/attachment/download/?id=1445

·         演讲整理文章:https://yq.aliyun.com/articles/72362

MaxCompute数据上云与生态

·         演讲视频:http://yq.aliyun.com/webinar/play/192

·         PDF下载:https://yq.aliyun.com/attachment/download/?id=1446

·         演讲整理文章:https://yq.aliyun.com/articles/72367

高可用大数据计算平台如何持续发布和演进

·         演讲视频:http://yq.aliyun.com/webinar/play/193

·         PDF下载:https://yq.aliyun.com/attachment/download/?id=1447

·         演讲整理文章:https://yq.aliyun.com/articles/72282

专利大数据的云上裂变之路

·         演讲视频:http://yq.aliyun.com/webinar/play/194

·         PDF下载:https://yq.aliyun.com/attachment/download/?id=1440

·         演讲整理文章:https://yq.aliyun.com/articles/72369

地产大数据趋势与应用实践

·         演讲视频:http://yq.aliyun.com/webinar/play/195

·         PDF下载:https://yq.aliyun.com/attachment/download/?id=1441

·         演讲整理文章:https://yq.aliyun.com/articles/72386

用大数据打造你的变美频道

·         演讲视频:http://yq.aliyun.com/webinar/play/196

·         PDF下载:https://yq.aliyun.com/attachment/download/?id=1443

·         演讲整理文章:https://yq.aliyun.com/articles/72250

云上大数据,零售新思维

·         演讲视频:http://yq.aliyun.com/webinar/play/197

·         PDF下载:https://yq.aliyun.com/attachment/download/?id=1442

·         演讲整理文章:https://yq.aliyun.com/articles/72249

  • 关于举办“天德π客”创业论坛——“基于阿里云的大数据实践—海量日志分析”的通知
  • 快上车!老司机带你走进“大数据及阿里云数据分析平台”
  • 万元大奖邀您参与阿里云数加 MaxCompute最佳实践征文大赛
  • 阿里云全新一代人工智能引擎机器学习PAI+MaxComptue征文大赛正式启动
  • 操作系统顶级会议SOSP 阿里云MaxCompute开启NewSQL时代

Workshop

该课程是基于大数据时代日志分析的基础需求的基础上,告知用户如果通过阿里云MaxCompute大数据解决方案来实现自己网站日志的用户画像。包括数据采集、数据加工以及数据最终的展现,最后通过MapReduce来解密好友推荐算法的实现原理。

  • 《云数据·大计算:海量日志数据分析与应用》Workshop-入口
  • 数据采集:日志数据上传
  • 数据加工:用户画像
  • 数据分析展现:可视化报表及嵌入应用
  • 社交数据分析:好友推荐
  • 2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》之《数据可视化:构建实时动态运营数据分析大屏》篇
  • 2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》之《流数据处理:通过StreamSQL分析视频日志》篇
  • 2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》之《流数据采集:海量流式视频日志收集》篇
  • 2017云栖大会·杭州峰会:《云数据·大计算:海量日志数据分析与应用》之《数据分析展现:可视化报表及嵌入应用》篇
  • 2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》实验环境准备
  • 2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》Workshop-入口

MaxCompute1元试用体验馆

通过丰富的场景案例、教程,让您近距离低成本的感受MaxCompute大数据平台的魅力。

  • Flume采集网站日志到MaxCompute
  • Hadoop数据表迁移到MaxCompute
  • 快速搭建一个BI销售数据分析系统
  • 机器学习实现海量新闻自动分类
  • 机器学习为您揭秘雾霾怎么形成

数据上云专题

对于大多数企业首先碰到的问题就是数据如何迁移到MaxCompute中。按照数据迁移场景,大致可以分为批量数据、实时数据、本地文件、日志文件等的迁移,下面我们针对每种场景分别介绍几种常用方案。

  • 数据进入阿里云数加-大数据计算服务MaxCompute(原ODPS)的N种方式
  • “零基础”系列课程--日志服务(Log Service)采集 ECS 日志数据到 MaxCompute
  • 日志服务(原SLS)新功能发布(12)--日志投递MaxCompute(原ODPS)支持自动建表授权
  • Flume数据导入MaxCompute(原ODPS)方法
  • MaxCompute(原ODPS)功能介绍之数据导入
  • 用Fluent实现MySQL到MaxCompute(原ODPS)数据集成

数据安全专题

收录了MaxCompute大数据平台安全资质、安全机制、数据安全白皮书、安全事件等,带你更深入的了解MaxCompute如何保护企业数据资产。

  • 你的大数据安全么?“Hadoop集群遭遇勒索软件攻击 ”
  • 【阿里云大数据产品MaxCompute】DT时代企业数据资产的护卫舰
  • 可靠、安全、易用,阿里云数加大数据平台首批通过国家大数据标准检测
  • 阿里云成为全国首家云等保试点示范平台 金融云通过国家等保四级备案测评
  • MaxCompute数据安全机制
  • 还在用Hadoop么?Hadoop服务器造成5PB数据泄露,中国、美国受波及最大!

运维/容灾专题

收录了MaxCompute大数据平台运维成长过程,企业如何做好灾备、做好自动化运维保障等相关运维知识。

  • MaxCompute(ODPS)大数据容灾方案与实现(及项目落地实例)专有云
  • 阿里云大数据计算平台的自动化、精细化运维之路

数据仓库专题

分享企业如何利用MaxCompute搭建数据仓库,如何做好ETL、建模、分层设计等相关数仓知识。

  • 干货:解码OneData,阿里的数仓之路。
  • 企业大数据平台下数仓建设思路
  • 大数据来了,数据库爆仓了,宝宝们怎么办?
  • 淘宝大数据之路
  • MaxCompute大数据实践,电商数据仓库选择雪花还是星型模型?
  • MaxCompute大数据实践,电商数据仓库的星型模型和传统星型的区别
  • 大数据环境下该如何优雅地设计数据分层
  • 精打细算使用MaxCompute搭建数仓
  • 阿里巴巴大数据实践之数据建模
  • 【直播沉淀】基于阿里云数加MaxCompute的企业大数据仓库架构建设思路
  • 品《阿里巴巴大数据实践-大数据之路》一书(上)
  • 品《阿里巴巴大数据实践-大数据之路》一书(下)
  • iphoneX都面世了,你的数据仓库还停留在诺基亚时代吗?
  • 阿里数据仓库实践分享
  • 基于阿里云数加MaxCompute的企业大数据仓库架构建设思路

公开数据集

目前免费开放的数据类别包括:股票价格数据,房产信息,影视及其票房数据,所有的数据均被存储在MaxCompute 产品中的public_data 项目中。

  • 阿里云数加(大数据)公开数据集(公测ing)

大数据最佳实践

越来越多的企业和开发者选择MaxCompute,为了更好地展示这些优秀企业和个人开发者的伟大经验,搜集整理了这些最佳实践,希望这些最佳实践能够为你的开发工作带来一些帮助。

  • 手把手,教你用MaxCompute+OpenSearch搭建分布式搜索引擎
  • 阿里云大数据利器Maxcompute学习之-假如你使用过hive
  • 一场变美盛宴后面的大数据故事
  • 理财农场大数据初探之路
  • 报警分析云上集成解决方案
  • 专访360医药大数据负责人侯晓锋:谈未来智能医疗的挑战及实践
  • 【物流大数据实践】基于阿里云Maxcompute实现物流跟踪
  • 袋鼠云助力光伏产业 | 基于阿里云数加平台做算法预测
  • 基于数加分析政府工作报告
  • 阿里云大数据利器Maxcompute学习之--分区表的使用
  • “零基础”系列课程--Flume收集网站日志数据到MaxCompute
  • “零基础”系列课程--如何通过大数据开发套件Data IDE玩转大数据
  • MaxCompute_2_MaxCompute数据迁移文档
  • 基于大数据开发套件定时调度带资源文件的MapReduce作业
  • 如何用大数据开发套件周期调度机器学习算法
  • [ETL实践指南]基于Kettle的MaxCompute插件实现数据上云
  • 推荐引擎的离线算法和在线算法初探
  • OpenSearch:轻松构建大数据搜索服务
  • 云上游戏数据分析实践
  • 5分钟学会使用DataHub接入实时数据到MaxCompute(原ODPS)
  • Docker时代——如何实现日志数据一键上云
  • MaxCompute(原ODPS)使用总结-初级篇
  • MaxCompute实战之数据存储
  • 基于 MaxCompute 的极速的基因测序分析
  • MaxCompute同步到AnalyticDB 任务报警简易处理
  • MaxCompute 存储优化技巧
  • MaxCompute OpenMR的7个性能优化策略
  • MaxCompute5个窗口函数限制
  • MaxCompute基础与MaxCompute SQL优化
  • MaxCompute(原ODPS)任务优化之列裁剪
  • MaxCompute应用限制整理
  • 产品动手实践视频课-基于MaxCompute SQL实现商品推荐
    • MaxCompute SQL 01-说在前面的话
    • MaxCompute SQL 02-什么是个性化推荐系统
    • MaxCompute SQL 03-个性化推荐系统是怎么实现的?
    • MaxCompute SQL 04-推荐系统的评价和应用
    • MaxCompute SQL 05-天猫应用场景介绍
    • MaxCompute SQL 06-问题分析和思路整理
    • MaxCompute SQL 07-简单实现:根据销量推荐
    • MaxCompute SQL 08-简单实现:和随机推荐的对比
    • MaxCompute SQL 09-个性化推荐:算法设计和特征分析
    • MaxCompute SQL 10-个性化推荐:选择特征和采样
    • MaxCompute SQL 11-个性化推荐:训练模型
    • MaxCompute SQL 12-个性化推荐:参数优化和模型评估
    • MaxCompute SQL 13-个性化推荐:模型应用与总结
    • MaxCompute SQL 14-总结:不足与改进
  • MaxCompute分区表和非分区表使用对比
  • Oracle - MaxCompute(原ODPS)数据类型转换
  • 大数据上云那些事儿:(一)上云工具之爬虫(Scrapy)数据
  • 阿里云大数据利器Maxcompute学习之--窗口函数实现分组TopN
  • MaxCompute SQL中的更新和删除如何实现
  • 用Java代码调用MaxCompute
  • 通过Fluentd实时上传数据到DataHub实践
  • 基于阿里云MaxCompute实现复杂事件检测
  • 阿里云大数据利器Maxcompute-使用mapjoin优化查询
  • MaxCompute SQL Row_Sequence 实现列自增长
  • MaxCompute SQL-列转行和行转列
  • MaxCompute多团队协同数据开发项目管理最佳实践
  • 门道多:一次MaxCompute PS任务的问题排查之旅
  • 利用MaxCompute建立数据仓库的超强实战手册
  • E-MapReduce中Spark 2.x读写MaxCompute数据
  • MaxCompute如何实现跨项目授权
  • 使用JDBC编程访问MaxCompute(原ODPS)
  • 增量同步MaxCompute(原ODPS)数据解决方法
  • MaxCompute(原ODPS) JOB 长尾问题调优
  • MaxCompute(原ODPS) JOB logview 查看方法
  • DataX使用指南——MaxCompute(原ODPS) to ODPS
  • MaxCompute(原ODPS) 权限管理命令集合
  • MaxCompute(原ODPS)内置函数整理
  • OSS文件上传及OSS与MaxCompute(原ODPS)之间数据连通
  • MaxCompute(原ODPS)跨集群迁移与数据同步经验分享
  • 五阿哥(wuage.com),携钢铁行业步入一场云的变革
  • 基于自定义日志打印的UDAF调试
  • [免费]手把手,阿里算法专家教你21天搭建推荐系统
  • 《企业大数据系统构建实战:技术、架构、实施与应用》
  • 大数据分析平台产品对比之MaxCompute(原ODPS)篇
  • Oracle - ODPS数据类型转换
  • 使用ODPS进行拼车分析
  • MaxCompute在网络舆情监控系统中的应用
  • 使用MaxCompute快速实现企业数据化运营
  • 应用MaxCompute实现变压器局部放电相位分析
  • 实践 —— 亲测从 RDS MySQL 通过数据集成导入 MaxCompute
  • 大数据分析平台产品对比之MaxCompute(原ODPS)篇
  • 阿里云大数据利器之-使用flume+sql实现流计算做实时展现业务(归档Maxcompute)
  • MaxCompute原(ODPS)创建dual表
  • MaxCompute(原ODPS) 脑图 - 常用知识总结
  • 阿里云大数据实验室:MaxCompute使用体验
  • MaxCompute实践分析
  • 小白用户MaxCompute数据同步初体验
  • 基于MaxCompute方案的TFI门店销量调研
  • 使用MaxCompute进行网贷业务风控预测分析
  • MaxCompute实践
  • 初创企业的选择——MaxCompute
  • MaxCompute平台非标准日期和气象数据处理方法--以电力AI赛为例
  • MaxCompute最佳实践
  • 使用 Instance Tunnel 获取 Maxcompute Instance 的执行结果
  • 基于MaxCompute平台进行机器学习并展示结果
  • 依托MaxCompute构建零售快消品行业数据仓库
  • MaxCompute数仓维护心得-五叶草
  • MaxCompute帮助创业公司中减轻MySQL存储压力
  • odps之sql性能优化
  • 美柚与MaxCompute数据同步架构说明
  • 阿里云大数据利器之-RDS迁移到Maxcompute实现动态分区
  • 阿里云「MaxCompute最佳实践」征文大赛获奖文章公布
  • 报表几种常用数据方案
  • MaxCompute执行作业慢的原因排查
  • MaxCompute跨Region数据迁移指导手册
  • MaxCompute有关优化复杂数据分布的实践

常见问题

为大家整理了关于MaxCompute的系列问题供大家查阅参考,覆盖产品包括MaxCompute、MaxCompute Studio、DataWork、MaxCompute SDK,涉及的知识点有数据同步、SQL/UDF/MR开发、JOB任务调度分析、计量计费、安装、注销等等。

  • MaxCompute百问集锦(持续更新)
  • MaxCompute常见错误汇总(更新ing)
  • 大数据开发—常见问题(1)
  • 大数据开发—常见问题(2)
  • 大数据开发—常见问题(3)
  • 大数据开发—常见问题(4)
  • MaxCompute数据下载/导出的SQL运行结果的方法总结,解决1万/10000行导出限制
  • 大数据开发套件中数据同步-日志报错回滚信息的一些问题总结
  • 解决代码在本地IDE环境里调试成功了后,到线上调试出现结果不符合预期的情况
  • 【大数据技巧】Flume采集网站日志到MaxCompute常见问题汇总
  • 做ETL操作导入数据到MaxCompute的时候,对如何设置数据同步策略疑惑
  • 如何用SQL对MaxCompute数据进行修改和删除
  • MaxCompute中实现IP地址归属地转换
  • MaxCompute(原ODPS) MapReduce常见问题解答
  • MaxCompute计算长尾问题
  • 定位排查工作流的计算结果数据量不符合预期的方法
  • 用脚本模式配置数据同步--用自定义的ECS来调度来解网络不可达的问题
  • 大数据开发套件—调度运维常见问题
  • 大数据开发套件—数据集成常见问题
  • MaxCompute—MaxCompute SQL 常见问题

生态兼容

MaxCompute 从研发的第一天起就被设计统一由 Restful API 提供服务。在 Restful API 之上,我们各种语言的 SDK。由 SDK 编写形成的各种工具、驱动等等构成了 MaxCompute 的用户接口层,即外围生态;截止到今天,MaxCompute已支持JDBC、Java、python、R、OpenMR等开放接口,兼容现有大数据生态系统。

  • MaxCompute JDBC 2.2 发布说明
  • 手把手教你完成MaxCompute JDBC自定义日志配置
  • MaxCompute JDBC 2.0 beta中的一些变更说明
  • 使用 odps-jdbc 接入 MaxCompute(原ODPS),不再从零开始
  • 原来MaxCompute还能这么玩系列(3)—— 借力QlikView玩转数据分析
  • 原来MaxCompute还能这么玩系列(2)—— 利用HiveServer2 Proxy实现MaxCompute与Hive生态工具的互通
  • 原来MaxCompute还能这么玩系列(1)—— 通过Apache Zeppelin 快速实现数据可视化
  • 当 Elasticsearch 遇上 MaxCompute
  • Flume Java on MaxCompute介绍
  • Logstash + DataHub + MaxCompute/StreamCompute 进行实时数据分析
  • 如何在MaxCompute上运行HadoopMR作业
  • 基于OGG Datahub插件将Oracle数据同步上云
  • R语言和大数据
  • RODPS介绍
  • 什么是PyODPS DataFrame
  • PyOdps 0.4版本发布,从一个故事说起
  • PyODPS DataFrame:统一的数据查询语言
  • PyOdps在交互式环境下的使用,让探索ODPS数据更容易些
  • PyOdps DataFrame来临,数据分析从未如此简单!
  • Python+大数据计算平台,PyODPS架构手把手教你搭建
  • MaxCompute上你从未体验过的数据分析和机器学习过程
  • 零成本体验 ODPS 大数据分析
  • PyODPS开发中的最佳实践

产品功能介绍

整理了MaxCompute官网使用手册之外的一些功能知识点介绍。

  • MaxCompute和DataIDE权限体系介绍
  • 阿里云开源离线同步工具DataX3.0介绍
  • MySQL超时参数以及相关DataX数据同步案例分享
  • Tunnel SDK数据上传利器——BufferedWriter使用指南
  • 使用 MaxCompute Studio 开发大数据应用
  • Console 实用小命令
  • Mac 下如何安装odps eclipse插件
  • 【MaxCompute学习】隐式转化的问题
  • 使用 MaxCompute(原ODPS) java sdk 运行安全相关命令
  • ODPS功能介绍之CLT
  • ODPS 功能介绍之SQL

技术原理介绍

深入浅出的剖析MaxCompute技术原理,比如SQL运行原理、MR机制、伏羲调度机制、盘古存储机制、优化器等等。

  • 【ATF】林伟:大数据计算平台的研究与实践
  • MaxCompute MapReduce细节解读
  • Fuxi ServiceModeJob 多租户(Quota Group) 功能介绍
  • 解析阿里云分布式调度系统伏羲
  • 阿里云伏羲(fuxi)调度器FuxiMaster功能简介(一) 多租户(QuotaGroup)管理
  • 阿里云伏羲(fuxi)调度器FuxiMaster功能简介(二) 调度模型
  • 阿里云伏羲(fuxi)调度器FuxiMaster功能简介(三) 针对在线服务的资源强稳定
  • 阿里云伏羲(fuxi)调度器FuxiMaster功能简介(四) NodeLabel调度
  • 盘古:阿里云飞天分布式存储系统设计深度解析
  • MaxCompute( 原ODPS)下的表分区解释
  • 为什么MaxCompute采用列式存储?列式存储和行式存储的主要区别在哪
  • 从MapReduce的执行来看如何优化MaxCompute(原ODPS) SQL
  • MaxCompute flighting —— Task灰度发布
  • 数加MaxCompute计算资源分布以及LogView分析优化
  • MaxCompute Optimizer之表达式约化
  • MaxCompute 中的Code Generation技术简介
  • MaxCompute(原ODPS) 事件(Event)机制
  • ComputeColStats UDF中 近似算法的介绍
  • MaxCompute SQL原理解析及性能调优
  • SQL优化器原理-Metadata
  • SQL优化器原理 - Auto Hash Join
  • SQL优化器原理-Shuffle优化
  • SQL优化器原理 - Join重排

大数据基础知识

介绍了目前关键的几个大数据方面的技术,什么是分布式计算、分布式存储、调度、监控等等,帮助开发者从Java工程师成功过渡到大数据工程师。

  • 分布式大数据系统巧实现,全局数据调度管理不再难
  • 大规模数据的分布式机器学习平台
  • 分布式存储系统
  • 分布式离线关系型计算最全总结
  • 分布式编程模型的设计与演化
  • 分布式调用跟踪与监控实战
  • 内存计算
  • 每个人都应该知道的25个大数据术语

产品/技术资讯

提供MaxCompute最新的资讯、业界动态、领域技术应用、商机等内容。

  • 阿里云2020年预期净利100亿,碾压99%A股公司 | 新龙榜
  • 从IaaS到AI,马云为何让阿里云去扛人工智能大旗?
  • 数据新能源驱动智慧新世界:数据新能源时代来临
  • “NASA”计划背后,阿里巴巴大数据系统架构概述
  • 三个词,让你看懂马云、刘强东力推的“新零售”
  • 盘点全球最热门十家大数据公司中国占据三席
  • [大数据行业应用发展前景分析] 阿里潘永花报告:大数据产业将成为新的煤和石油介绍
  • 基于阿里云数加平台的大数据Serverless实践
  • 川普军完美逆袭,阿里大数据为你解读特朗普成功的真相
  • 大数据简析“林丹出轨事件”背后的微博信息传播
  • 《大数据漫谈 -- DT时代》连载之 NO.1
  • 漫谈阿里大数据
  • 巴黎科技展:“中国技术太厉害了,我们得赶紧学学!”
  • 阿里云携大数据计算平台MaxCompute欧洲开服
  • 数加平台如何通过Serverless 架构实现普惠大数据
  • 重磅 | 2017年中国大数据企业生态图谱(一)大数据企业融资地图
  • 数加:从数据工程师到CDO的七次升职路
  • Hadoop 这样业界顶级的大规模数据处理平台,均发现满足不了类似双十一这样全世界的剁手党蜂拥而至的热情
  • 阿里云数加合作伙伴-袋鼠云获A轮融资,成立一年半获三轮投资超亿元
  • 大数据平台的发展会降低程序员的价值吗?
  • 阿里云MaxCompute澳大利亚开服,“领跑”人工智能市场
  • 从未停止进化的MaxCompute
  • 比自建 Hadoop 还便宜!云栖大会揭秘阿里云数加 MaxCompute
  • 阿里云MaxCompute香港开服 引入更多人工智能
  • 1次演讲13次提到技术,马云在阿里巴巴年会上都说了什么?
  • 阿里巴巴MaxCompute亮相VLDB2017
  • DT时代已经悄然来临,IT人您跟上了吗?
  • 阿里云大数据计算服务MaxCompute(原ODPS)华南1(深圳)Region即将开服!
  • 数据智能需求旺盛 阿里云MaxCompute 2.0华南区开服
  • ZStack&阿里云联合发布混合云解决方案
  • 10月18日,德国法兰克福,阿里云MaxCompute2.0,全面布局AI人工智能
  • 赋能数据处理能力 阿里云MaxCompute助企业洞察市场
  • 阿里云在美推出MaxCompute大数据计算平台
  • 【广州云栖大数据/人工智能会场信息】全新一代人工智能引擎MaxCompute惊艳全场
  • 阿里云MaxCompute加速全球化布局 11月1日北京、马来西亚两地开服
  • 昨日广州云栖“大算”受追捧,今日揭秘阿里双11技术核武器MaxCompute,感恩节再放福利!(福利截止11.30日)

与MaxCompute专家在线沟通/问答

  • MaxCompute公众号问答频道

招聘信息

  • DT时代,与坚持梦想者同行!

欢迎加入“数加·MaxCompute购买咨询”钉钉群(群号: 11782920)进行咨询,群二维码如下:

阿里巴巴大数据-玩家社区 https://yq.aliyun.com/teams/6/

---阿里大数据博文,问答,社群,实践,有朋自远方来,不亦说乎……

阅读原文

http://click.aliyun.com/m/38790/

MaxCompute全套攻略相关推荐

  1. 私域运营_技巧全套攻略(共207份)

    合集名称:私域运营_技巧全套攻略 数量:207份 具体内容: [1]私域流量研报 14份 [2]私域流量思维导图 23份 [3]私域流量专业词汇 [4]门店搭建私域流量攻略  16份 [5]私域流量s ...

  2. 阿里巴巴大数据计算平台MaxCompute(原名ODPS)全套攻略(持续更新20171127)

    概况介绍 大数据计算服务(MaxCompute,原名ODPS,产品地址:https://www.aliyun.com/product/odps)是一种快速.完全托管的TB/PB级数据仓库解决方案.Ma ...

  3. 如何手动养成一只「咖啡女仆」?丨全套攻略+材料清单

    原作者 Valentin Fg  郭一璞 编译  量子位 出品 | 公众号 QbitAI "两杯美式,谢谢." "主人的两杯咖啡好啦,欢迎品尝~" 醒醒,你不是 ...

  4. linux没有图形界面opcv,关于Linux/ubuntu的环境下安装OpenCV并配置Clion【全套攻略】及关于'Opencv'file not found 的问题...

    1.如何在Linux/ubuntu配置OpenCV 1.1 :进入OpenCV官网下载:(也可进入git Hub 在终端Clone) 等待下载完成 1.2:安装OpenCV: 笔者下载的是Opencv ...

  5. 【Python】芝麻HTTP代理系列保姆级全套攻略(对接教程+自动领取每日IP+IP最优算法)

    最后关注.收藏.点赞3连

  6. 邱若辰:做微博年入100W,微博赚钱的全套攻略

    不管哪个平台,只要你往深处挖掘,都会发现很多赚钱的机会.我们先来看看目前互联网渠道中比较主流的平台.我可以把这些平台分为三个层次: 低门槛:微博,微信群,百度,小红书,美图秀秀等 中门槛:音频平台,传 ...

  7. Esp8266-01s、51单片机实现连接MQTT踩坑:附加烧录安信可固件+宝塔搭建MQTT服务器 全套攻略

  8. Py之PyODPS:PyODPS(MaxCompute平台上的大数据处理和分析框架)的简介、安装、使用方法之详细攻略

    Py之PyODPS:PyODPS(MaxCompute平台上的大数据处理和分析框架)的简介.安装.使用方法之详细攻略 目录 PyODPS的简介 1.PyODPS的特点 2.MaxCompute下SQL ...

  9. 软件专利著作权如何自己申请,软件著作权申请成功的模板及个人申请全套流程攻略

    软件专利著作权如何自己申请,软件著作权申请成功的模板及个人申请全套流程攻略 最近申请了软件的著作权,自己一个人全套流程自己申请,没有花钱,发现这方面资料挺少的,我就全程公开了,附带一个模板给大家参考, ...

  10. BigData:MaxCompute大数据计算服务(阿里巴巴开发/原ODPS/云计算分布式)的简介(基本概念/功能/流程图)、使用方法之详细攻略

    BigData:MaxCompute大数据计算服务(阿里巴巴开发/原ODPS/云计算分布式)的简介(基本概念/功能/流程图).使用方法之详细攻略 目录 背景-传统分布式计算的弊端 MaxCompute ...

最新文章

  1. 【TPAMI2022】关联关系驱动的多模态分类
  2. linux内存源码分析 - 内存压缩(同步关系)
  3. Spring Boot 2.x基础教程:使用Elastic Job的分片配置
  4. python下什么-python官网下的包是干什么用的?
  5. Zookeeper的来源
  6. python函数(一)
  7. 语音合成与识别技术在C#中的应用 (转 )
  8. 进阶 vue,需要掌握哪些知识?
  9. pythonkeywordis与 ==的差别
  10. 自娱自乐的小题目(6)
  11. matplotlib画图使用微软雅黑字体
  12. python超链接程序,python超链接
  13. 三星nfc添加门禁卡实测有效_今天才知道!iPhone手机还能变成门禁卡,60秒就能实现...
  14. qlv转mp4失败 解决方法
  15. 优化滚动的一个小技巧:scroll-snap-type
  16. 3种伺服电机控制方式
  17. RTrPPG: An Ultra Light 3DCNN for Real-Time Remote Photoplethysmography
  18. Python之 【模型建立和测试-模型测试模板】
  19. 记录EVE-NG抓包时wireshark报错Connection abandoned.
  20. 年度团队个人回顾工坊实录

热门文章

  1. 关于Solidworks启动和office的VBA干涉解决方法
  2. mysql 长连接_使用mysql的长连接
  3. w7为什么计算机没有摄像头.,W7笔记本摄像头怎么打开
  4. ibm x60 学习linux,IBM X60 T60系列安装系统时SATA设置问题
  5. vimgrep 查找光标下单词并打开quickfix
  6. Ubuntu更新软件源
  7. 十六进制换算成二进制、八进制、十进制
  8. PKI体系(公钥基础设施)
  9. 围棋软件测试自学,围棋软件等级棋力水平测试(正版)
  10. Ecshop二次开发