【云计算】阿里云-pyodps处理指南

00.如何安装

从平台到自行部署 - 云原生大数据计算服务 MaxCompute - 阿里云

再记录一个安装配置PyODPS的方法

读写MaxCompute表 - 机器学习PAI - 阿里云

import numpy as np
import pandas as pdfrom odps import ODPS
from odps.df import DataFrame
# 建立链接。
o = ODPS('<your_AccessKey_ID>', '<your_AccessKey_Secret>', '<your_MaxCompute_project>',endpoint='<your_Project_Endpoint>')# 读取数据。
sql = '''
SELECT  *
FROMproject.table
LIMIT 100
;
'''
query_job = o.execute_sql(sql)
result = query_job.open_reader(tunnel=True)
df = result.to_pandas(n_process=1) #n_process配置可参考机器配置，取值大于1时可以开启多线程加速。

set odps.sql.allow.fullscan=true;

01.如何个性化配置环境参数

from odps import options
# 设置所有输出表的生命周期（lifecycle选项）。
options.lifecycle = 30
# 使用Tunnel下载string类型时使用bytes（tunnel.string_as_binary选项）。
options.tunnel.string_as_binary = True
# 用ODPS执行PyODPS DataFrame时，可以参照下面dataframe相关配置，在sort时将limit设置为一个比较大的值。
options.df.odps.sort.limit = 100000000

02.DataFrame

DataFrame - 云原生大数据计算服务 MaxCompute - 阿里云

99.PyODPS常见问题

PyODPS常见问题 - 云原生大数据计算服务 MaxCompute - 阿里云

【云计算】阿里云-pyodps处理指南相关推荐

阿里云服务器购买指南（适合新手小白的图文指导教程）
阿里云服务器有一键购买,自定义购买,也可以通过各种活动优惠购买,每种购买方式都有自己的适合场景,也都有各自的利与弊,不管哪种购买方式都有很多需要注意的地方,下面是这些购买方式的具体图文教程及注意事项, ...
JIRA实践系列-JIRA与阿里云效对接指南
JIRA实践系列-JIRA与阿里云效对接指南,拧出部分重点关联接口,便于快速上手. 一.API对照关系 api名称云效 JIRA 创建项目 CreateDevopsProject /rest/api ...
阿里云服务器选购指南（图文教程详解）
目录一.前言二.基本概念 1.定义 2.部署形式 3.用处三.主流平台 1.Google 2.AWS 3.华为云 4.腾讯云 5.阿里云四.云服务器分类 1.云服务器ECS 2.轻量应用服务器 ...
阿里云PyODPS 0.7.18发布，针对聚合函数进行优化同时新增对Python 3.7支持
近日,阿里云发布PyODPS 0.7.18,主要是针对聚合函数进行优化同时新增对Python 3.7支持. PyODPS是MaxCompute的Python版本的SDK,SDK的意思非常广泛,辅助开发 ...
阿里云服务器安装JDK指南
hi,大家好啊,好久不见,最近阿里云双十一做活动,很多博主都在做购买返现活动,不知道大家有没有去白嫖他们一个服务器,服务器买来可以用来学习一下服务器搭建,应用部署等等,可以做的事情还是蛮多的. 正好最 ...
阿里云ECS使用指南
通过两天的上手使用我认识到,使用一个ECS中的镜像系统需要以下几个基础步骤: 1.选择镜像包并安装. 2.通过PUTTY等软件来访问命令行模式系统. 3.设置安全组,使得公网IP可以被访问. 4.安装 ...
阿里云服务器购买指南
1.程序员为什么要有一个属于自己的服务器? 作为程序员,必须发布自己的网站和项目练习Linux的操作自己的远程仓库,远程数据库,远程Tomcat....都可以搭建在服务器上练习Linux任意的环 ...
virtualenv environment怎么选_2020年阿里云双11内容安全怎么选？ - 云计算分享家
2020年阿里云双11内容安全怎么选?2020年双11来了,云服务器.云数据库都有超值特惠,新老用户共享优惠狂欢,另有11111元现金红包等着你,点击下面相应链接了解: 阿里云双11优惠狂欢活动:10 ...
阿里云服务器购买流程（新手入门教程）
2023阿里云服务器选择流程更新,选购云服务器有两个入口,一个是选择活动机,只需要选择云服务器地域.系统.带宽即可:另一个是在云服务器页面,自定义选择云服务器配置,这种方式云服务器较为复杂,需要选付费 ...
阿里云服务器如何购买？新手指南来了
2023阿里云服务器选择流程更新,选购云服务器有两个入口,一个是选择活动机,只需要选择云服务器地域.系统.带宽即可:另一个是在云服务器页面,自定义选择云服务器配置,这种方式云服务器较为复杂,需要选付费 ...

【云计算】阿里云-pyodps处理指南

00.如何安装

从平台到自行部署 - 云原生大数据计算服务 MaxCompute - 阿里云

【云计算】阿里云-pyodps处理指南相关推荐

最新文章

热门文章