MaxCompute Mars 完全指南
Mars 简介
Mars 能利用并行和分布式技术,加速 Python 数据科学栈,包括 numpy、pandas 和 scikit-learn。同时,也能轻松与 TensorFlow、PyTorch 和 XGBoost 集成。
Mars tensor 的接口和 numpy 保持一致,但支持大规模高维数组。样例代码如下。
import mars.tensor as mta = mt.random.rand(10000, 50)
b = mt.random.rand(50, 5000)
a.dot(b).execute()
Mars DataFrame 接口和 pandas 保持一致,但可以支撑大规模数据处理和分析。样例代码如下。
import mars.dataframe as md ratings = md.read_csv('Downloads/ml-20m/ratings.csv')
movies = md.read_csv('Downloads/ml-20m/movies.csv')
movie_rating = ratings.groupby('movieId', as_index=False).agg({'rating': 'mean'})
result = movie_rating.merge(movies[['movieId', 'title']], on='movieId')
result.sort_values(by='rating', ascending=False).execute()
Mars learn 保持和 scikit-learn 接口一致。样例代码如下。
import mars.dataframe as md
from mars.learn.neighbors import NearestNeighborsdf = md.read_csv('data.csv')
nn = NearestNeighbors(n_neighbors=10)
nn.fit(df)
neighbors = nn.kneighbors(df).fetch()
Mars learn 可以很方便地与 TensorFlow、PyTorch 和 XGBoost 集成,点击链接查看文档。
在 MaxCompute 上使用 Mars,我们提供了简单易用的接口来拉起 Mars 集群,用户不需要关心安装和维护集群。同时,通过 MaxCompute 拉起的 Mars,也支持直接读写 MaxCompute 表。
申请试用
目前我们采用申请开通的方式,公共云用户请提工单申请。
环境准备
要在 MaxCompute 上运行 Mars,需要有相应的运行环境。这可以分为如下几种情况。
- 开箱即用的环境,如 dataworks,会包含所需要的依赖。
- 其他环境,需要自己安装相关依赖。
我们分别展开。
开箱即用的环境
开箱即用的环境,如 dataworks 的 pyodps3 节点,已经包含了 PyODPS 和 Mars。
在新建的 pyodps3 节点里运行如下命令检查版本,确保满足要求。
from odps import __version__ as odps_version
from mars import __version__ as mars_versionprint(odps_version)
print(mars_version)
输出的第一个为 PyODPS 版本,第二个为 Mars 版本。要求 PyODPS 至少是 0.9.0 。
其他环境
这个环境就要求通过 pip 安装 PyODPS 和 Mars。Python 版本推荐使用 3.7 版本,至少需要是 3.5 版本。
通过如下命令安装:
pip install -U pip # 可选,确保 pip 版本足够新
pip install pyarrow==0.12.1 # 目前 pyarrow 版本固定到 0.12.1
pip install pyodps>0.9.0 # pyodps 需要至少 0.9.0
pip install pymars>=0.4.0rc1 # mars 版本需要至少是 0.4.0rc1
准备 ODPS 入口
ODPS 入口是 MaxCompute 所有操作的基础:
- 对于开箱即用的环境,如 dataworks,我们会自动创建
o
即 ODPS 入口实例,因此可以不需要创建。 - 对于其他环境,需要通过
access_id
、access_key
等参数创建,详细参考 文档。
基本概念
- MaxCompute 任务实例:MaxCompute 上任务以 instance 概念存在。Mars 集群也是通过一个 MaxCompute Instance 拉起。
- Logview 地址:每个 MaxCompute instance 包含一个 logview 地址来查看任务状态。拉起 Mars 集群的 instance 也不例外。
- Mars UI: Mars 集群拉起后,会包含一个 Web UI,通过这个 Web UI,可以查看 Mars 集群、任务状态,可以提交任务。当集群拉起后,一般来说就不需要和 MaxCompute 任务实例交互了。
- Mars session:Mars session 和具体的执行有关,一般情况下用户不需要关心 session,因为会包含默认的 session。通过
o.create_mars_cluster
创建了 Mars 集群后,会创建默认连接到 Mars 集群的 session。 - Jupyter Notebook:Jupyter Notebook 是一个基于网页的用于交互式计算的应用程序,可以用来开发、文档编写、运行代码和展示结果。
基础用法
创建 Mars 集群
准备好环境后,接着我们就可以拉起 Mars 集群了。
有了 o
这个对象后,拉起 Mars 集群非常简单,只需要运行如下代码。
from odps import options
options.verbose = True # 在 dataworks pyodps3 里已经设置,所以不需要前两行代码
client = o.create_mars_cluster(5, 4, 16, min_worker_num=3)
这个例子里指定了 worker 数量为 5 的集群,每个 worker 是4核、16G 内存的配置,min_worker_num
指当 worker 已经起了3个后,就可以返回 client
对象了,而不用等全部 5 个 worker 都启动再返回。Mars 集群的创建过程可能比较慢,需要耐心等待。
注意:申请的单个 worker 内存需大于 1G,CPU 核数和内存的最佳比例为 1:4,例如单 worker 4核、16G。同时,新建的 worker 个数也不要超过 30 个,否则会对镜像服务器造成压力,如果需要使用超过 30 个 worker,请工单申请。
这个过程中会打印 MaxCompute instance 的 logview、 Mars UI 以及 Notebook 地址。Mars UI 可以用来连接 Mars 集群,亦可以用来查看集群、任务状态。
Mars 集群的创建就是一个 MaxCompute 任务,因此也有 instance id、logview 等 MaxCompute 通用的概念。
提交作业
Mars 集群创建的时候会设置默认 session,通过 .execute()
执行时任务会被自动提交到集群。
import mars.dataframe as md
import mars.tensor as mtmd.DataFrame(mt.random.rand(10, 3)).execute() # execute 自动提交任务到创建的集群
停止并释放集群
目前一个 Mars 集群超过3天就会被自动释放。当 Mars 集群不再需要使用时,也可以通过调用 client.stop_server()
手动释放:
client.stop_server()
MaxCompute 表读写支持
Mars 可以直读和直写 MaxCompute 表。
读表
通过 o.to_mars_dataframe
来读取 MaxCompute 表,并返回 Mars DataFrame。
In [1]: df = o.to_mars_dataframe('test_mars')
In [2]: df.head(6).execute()
Out[2]: col1 col2
0 0 0
1 0 1
2 0 2
3 1 0
4 1 1
5 1 2
写表
通过 o.persist_mars_dataframe(df, 'table_name')
将 Mars DataFrame 保存成 MaxCompute 表。
In [3]: df = o.to_mars_dataframe('test_mars')
In [4]: df2 = df + 1
In [5]: o.persist_mars_dataframe(df2, 'test_mars_persist') # 保存 Mars DataFrame
In [6]: o.get_table('test_mars_persist').to_df().head(6) # 通过 PyODPS DataFrame 查看数据col1 col2
0 1 1
1 1 2
2 1 3
3 2 1
4 2 2
5 2 3
使用 Mars 集群自带的 Jupyter Notebook
创建 Mars 集群会自动创建一个 Jupyter Notebook 以编写代码。
新建一个 Notebook 会自动设置 session,提交任务到集群。因此在这个 notebook 内也不需要显示创建 session
。
import mars.dataframe as mdmd.DataFrame(mt.random.rand(10, 3)).sum().execute() # 在 notebook 里运行,execute 自动提交到当前集群
有一点要注意:这个 notebook 不会保存你的 notebook 文件,所以要记得自行保存。
用户也可以使用自己的 notebook 连接到集群,此时参考 使用已经创建的 Mars 集群 章节。
其他用法
使用已经创建的 Mars 集群
首先,我们可以通过 instance id 重建 Mars 集群的 client。
client = o.create_mars_cluster(instance_id=**instance-id**)
如果只是想使用 Mars,可以使用 Mars session 来连接。给定 Mars UI 的地址。则:
from mars.session import new_session
new_session('**Mars UI address**').as_default() # 设置为默认 session
获取 Mars UI 地址
Mars 集群创建的时候指定了 options.verbose=True
会打印 Mars UI 地址。
也可以通过 client.endpoint
来获取 Mars UI。
print(client.endpoint)
获取 Logview 地址
创建集群的时候指定了 options.verbose=True
会自动打印 logview。
也可以通过 client.get_logview_address()
获取 logview 地址。
print(client.get_logview_address())
获取 Jupyter Notebook 地址
Mars 集群创建的时候指定了 options.verbose=True
会打印 Jupyter Notebook 地址。
也可以通过 client.get_notebook_endpoint()
获取 Jupyter Notebook 地址。
print(client.get_notebook_endpoint())
Mars 和 PyODPS DataFrame 对比
有同学会问,Mars 和 PyODPS DataFrame 有什么区别呢?
API
Mars DataFrame 的接口完全兼容 pandas。除了 DataFrame,Mars tensor 兼容 numpy,Mars learn 兼容 scikit-learn。
而 PyODPS 只有 DataFrame 接口,和 pandas 的接口存在着很多不同。
索引
Mars DataFrame 有 pandas 索引的概念。
In [1]: import mars.dataframe as mdIn [5]: import mars.tensor as mtIn [7]: df = md.DataFrame(mt.random.rand(10, 3), index=md.date_range('2020-5-1', periods=10)) In [9]: df.loc['2020-5'].execute()
Out[9]: 0 1 2
2020-05-01 0.061912 0.507101 0.372242
2020-05-02 0.833663 0.818519 0.943887
2020-05-03 0.579214 0.573056 0.319786
2020-05-04 0.476143 0.245831 0.434038
2020-05-05 0.444866 0.465851 0.445263
2020-05-06 0.654311 0.972639 0.443985
2020-05-07 0.276574 0.096421 0.264799
2020-05-08 0.106188 0.921479 0.202131
2020-05-09 0.281736 0.465473 0.003585
2020-05-10 0.400000 0.451150 0.956905
PyODPS 里没有索引的概念,因此跟索引有关的操作全部都不支持。
数据顺序
Mars DataFrame 一旦创建,保证顺序,因此一些时序操作比如 shift
,以及向前向后填空值如ffill
、bfill
,只有 Mars DataFrame 支持。
In [3]: df = md.DataFrame([[1, None], [None, 1]]) In [4]: df.execute()
Out[4]: 0 1
0 1.0 NaN
1 NaN 1.0In [5]: df.ffill().execute() # 空值用上一行的值
Out[5]: 0 1
0 1.0 NaN
1 1.0 1.0
PyODPS 由于背后使用 MaxCompute 计算和存储数据,而 MaxCompute 并不保证数据顺序,所以这些操作在 MaxCompute 上都无法支持。
执行层
PyODPS 本身只是个客户端,不包含任何服务端部分。PyODPS DataFrame 在真正执行时,会将计算编译到 MaxCompute SQL 执行。因此,PyODPS DataFrame 支持的操作,取决于 MaxCompute SQL 本身。此外,每一次调用 execute
方法时,会提交一次 MaxCompute 作业,需要在集群内调度。
Mars 本身包含客户端和分布式执行层。通过调用 o.create_mars_cluster
,会在 MaxCompute 内部拉起 Mars 集群,一旦 Mars 集群拉起,后续的交互就直接和 Mars 集群进行。计算会直接提交到这个集群,调度开销极小。在数据规模不是特别大的时候,Mars 应更有优势。
使用场景指引
有同学会关心,何时使用 Mars,何时使用 PyODPS DataFrame?我们分别阐述。
适合 Mars 的使用场景。
- 如果你经常使用 PyODPS DataFrame 的
to_pandas()
方法,将 PyODPS DataFrame 转成 pandas DataFrame,推荐使用 Mars DataFrame。 - Mars DataFrame 目标是完全兼容 pandas 的接口以及行为,如果你熟悉 pandas 的接口,而不愿意学习 PyODPS DataFrame 的接口,那么使用 Mars。
Mars DataFrame 因为兼容 pandas 的行为,因此如下的特性如果你需要用到,那么使用 Mars。
- Mars DataFrame 包含行和列索引,如果需要使用索引,使用 Mars。
- Mars DataFrame 创建后会保证顺序,通过 iloc 等接口可以获取某个偏移的数据。如
df.iloc[10]
可以获取第10行数据。此外,如df.shift()
、df.ffill()
等需要有保证顺序特性的接口也在 Mars DataFrame 里得到了实现,有这方面的需求可以使用 Mars。
- Mars 还包含 Mars tensor 来并行和分布式化 Numpy,以及 Mars learn 来并行和分布式化 scikit-learn、以及支持在 Mars 集群里分布式运行 TensorFlow、PyTorch 和 XGBoost。有这方面的需求使用 Mars。
- Mars 集群一旦创建,后续不再需要通过 MaxCompute 调度,任务可以直接提交到 Mars 集群执行;此外,Mars 对于中小型任务(数据量 T 级别以下),会有较好的性能。这些情况可以使用 Mars。
适合 PyODPS DataFrame 的使用场景
- PyODPS DataFrame 会把 DataFrame 任务编译成 MaxCompute SQL 执行,如果希望依托 MaxCompute 调度任务,使用 PyODPS DataFrame。
- PyODPS DataFrame 会编译任务到 MaxCompute 执行,由于 MaxCompute 相当稳定,而 Mars 相对比较新,如果对稳定性有很高要求,那么使用 PyODPS DataFrame。
- 数据量特别大(T 级别以上),使用 PyODPS DataFrame。
Mars 参考文档
- Mars 开源地址:https://github.com/mars-project/mars
- Mars 文档:https://docs.pymars.org/zh_CN/latest/
- Mars 团队专栏:https://zhuanlan.zhihu.com/mars-project
技术支持
技术支持请加 PyODPS 钉钉群:11701793
FAQ
Q:一个用户创建的 Mars 集群,别人能不能用。
A:可以,参考 使用已经创建的 Mars 集群 章节。
原文链接
本文为云栖社区原创内容,未经允许不得转载。
MaxCompute Mars 完全指南相关推荐
- MaxCompute Mars开发指南
2019独角兽企业重金招聘Python工程师标准>>> Mars 算法实践 人脸识别 Mars 是一个基于矩阵的统一分布式计算框架https://www.atatech.org/ar ...
- MaxCompute Spark开发指南
0. 概述 本文档面向需要使用MaxCompute Spark进行开发的用户使用.本指南主要适用于具备有Spark开发经验的开发人员. MaxCompute Spark是MaxCompute提供的兼容 ...
- 基于MaxCompute分布式Python能力的大规模数据科学分析
简介: 如何利用云上分布式 Python 加速数据科学. 如果你熟悉 numpy.pandas 或者 sklearn 这样的数据科学技术栈,同时又受限于平台的计算性能无法处理,本文介绍的 MaxCom ...
- 阿里云 MaxCompute 2020-4 月刊
导读 [4月新功能] [4月新文档] [新增解决方案] [新增最佳实践] [4月新功能] 1. MaxCompute审计日志发布 MaxCompute在服务级别自动将您使用MaxCompute所产生的 ...
- MaxCompute Tunnel SDK数据上传利器——BufferedWriter使用指南
为什么80%的码农都做不了架构师?>>> 摘要: MaxCompute 的数据上传接口(Tunnel)定义了数据 block 的概念:一个 block 对应一个 http re ...
- MaxCompute 图计算开发指南
2019独角兽企业重金招聘Python工程师标准>>> 快速入门step by step MaxCompute Studio 创建完成 MaxCompute Java Module后 ...
- MaxCompute安全管理指南-基础篇
背景及目的 方便和辅助MaxCompute的project owner或安全管理员进行project的日常安全运维,保障数据安全. MaxCompute有安全模型,DataWorks也有安全模型,当通 ...
- Kettle on MaxCompute使用指南
简介: Kettle是一款开源的ETL工具,纯java实现,可以运行于Windows, Unix, Linux上运行,提供图形化的操作界面,可以通过拖拽控件的方式,方便地定义数据传输的拓扑.Kettl ...
- [JDBC] Kettle on MaxCompute 使用指南
简介: Kettle是一款开源的ETL工具,纯Java实现,可以在Windows.Unix和Linux上运行,提供图形化的操作界面,可以通过拖拽控件的方式,方便地定义数据传输的拓扑 .基本讲介绍基于K ...
最新文章
- 2022-2028年中国马铃薯市场研究及前瞻分析报告
- 思考:王者荣耀为什么不使用微服务架构?
- 北京师范大学计算机系录取分数线,北京师范大学各省各专业录取分数线
- tomcat的服务器配置详解
- php繁体拼音字母,php获取中文字符串的首字符拼音字母
- Kinect开发笔记之八C#实现Kinect声音的追踪
- 计算机办公应用软件初级,电脑办公软件有哪些?桌面便签办公软件基础教程
- 途牛 “特产频道”上线 深化目的地服务网络
- 算法竞赛学习资源整理
- 西门子plm_西门子PLM组件之形状搜索(支持工业软件国产自主可控)
- web前端开发技术储久良第三版答案整理(1~17章答案+附录模拟试卷)
- Tri Tiling
- Java内部类介绍 - 局部内部类和匿名内部类
- 赚钱项目:1万粉丝的公众号,年赚15万!
- 单机版fastDFS安装
- 今日头条“偷偷复活”内涵段子,那快播是不是也能重生了?
- python计算利率贷款_用Python获取银行网站上的存贷款利率表
- 为什么计算机屏幕分辨率会,为什么计算机屏幕变窄
- excel数据平均分配给多人_如何将excel表格中的一列数字平均分配成几组,分组后每组的平均值大致相同...
- Cast-Designer Weld人工智能参与的多道焊工艺参数设计
热门文章
- WSL安装Oracle,折腾记录:WSL(Windows Subsystem for Linux,Windows上的Linux子系统)安装后的环境配置-Go语言中文社区...
- 如何检查私钥和公钥是否配对_如何检查家具是否有臭虫
- gentos 执行sh文件_linux定时自动清理日志文件
- python字符串_教你快速了解 Python 字符串
- 一直在构建工作空间_智能工作空间让Dropbox拥有无限扩展潜力
- 六年级计算机应用计划,2017六年级信息技术下册教学计划
- python字典会自动排序_python中字典不自动排序的用法
- 【LeetCode笔记】225. 用队列实现栈(Java、队列、栈)
- mysql约束_Mysql约束条件
- 福建高职计算机知识点,2013福建高职单招 计算机类专业 知识试题