实战之从阿里云dataworks的maxcomputer中导出数据

背景

大数据存储场景：一般有点实力的公司，会自有机房，将自己的内部数据存储在服务器集群当中，而一些前期没考虑机房的公司，会选择将数据存储在公有云上，国内现在比较厉害的有阿里云、华为云、亚马逊云等。

今天有个需求，客户公司，他们的数据存储在阿里云上，使用的是MaxCompute（原ODPS）来计算和分析数据。MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务。

考虑到直连客户数据库的敏感性和数据的安全性，我们选择直接将它dataworks下的几张表的数据经过处理之后给同步到我们自己的库中。

DataWorks | DataStudio控制台介绍

1、登录到产品服务中心：选择Dataworks

2、选择左侧MaxCompute

3、选择数据开发服务

4、表管理

这里可以看到，该账号下赋予权限所能操作的所有表，双击，可查看及更改结构

5、sql执行

左侧栏目第一个按钮，业务流程中，maxcompute----数据开发---右键新建odps sql，

可以写sql，并执行

在这里你可以测试数据，查看表结构、建表等操作

6、数据和表恢复

我之前不小心把人家一个表给删了，drop用时一时爽，爽完简直头皮发麻；我drop的还是人家生产环境的表，一个表数据几百万，当时心里慌死了，/(ㄒoㄒ)/~~。

但转头一想，毕竟是阿里云，肯定有恢复机制，于是乎查到了资料，附上链接：

https://help.aliyun.com/document_detail/172397.html

纵使有恢复机制，但是还是要警戒，一定要慎用delete 、drop、truncate，慎用，慎用！一定要做好备份和恢复！！！！！！！！！！

数据同步

1、源数据源建测试表person

(因为我执行了两次，所以有两条记录)

2、目标数据源建表

3、建立通道，选择数据来源和数据去向。

4、执行，导入。如下图：

注意点

阿里云的dataworks中的maxcompute 不能使用sql脚本处理后再导出
可以在源数据存储处建立中间表
odps中数据转换，普通转换 cast(field as type)
odps中日期格式化转换 to_date('',format) 注意，format的格式是前面日期的格式，如to_date('今天是20210429','今天是yyyyMMdd')
数据恢复帮助文档：https://help.aliyun.com/document_detail/172397.html
数据日期及其他函数支持文档：https://helpcdn.aliyun.com/document_detail/48974.html#section-b3z-1fm-vdb

更多学习、面试资料尽在微信公众号：Hadoop大数据开发

大数据学习交流QQ群：139809179

实战之从阿里云dataworks的maxcomputer中导出数据相关推荐

从阿里云rds历史备份中恢复数据
本地需要有一个数据库环境,安装的教程可以参考 mysql 5.7安装(yum方式) 另外本地数据库的磁盘必须要足够大,4GB左右的备份恢复出来的数据可能几十GB,所以本地数据库的data目录要有足够的 ...
深入解读：获Forrester大数据能力高评价的阿里云DataWorks思路与能力
摘要: Forrester发布了Now Tech: Cloud Data Warehouse Q1 2018报告,报告对云化数据仓库(Cloud Data Warehouse, CDW)的主要功能.区 ...
阿里云DataWorks数据集成（DataX）架构实践分享
阿里云DataWorks数据集成(DataX)架构&实践分享分享嘉宾:罗海伟阿里云编辑整理:约理中国科学院大学目录 ▌为什么需要数据集成数据集成的应用场景数据集成的角色和地位 ▌ ...
【PBL项目实战】户外智慧农场项目实战系列——1.阿里云物联网平台的开通与云端可视化应用的新建
岭师人工智能素养教育共同体PBL项目教程系列之1:户外智慧农场项目实战系列原文链接 https://mp.weixin.qq.com/s/avKWJHNvnPeFsdEXUBByjw 本系列以户外 ...
【公测中】阿里云发布国内首个大数据双活容灾服务，满足高要求大数据灾备场景...
在6月上旬举行的云栖大会上海峰会上,阿里云发布了国内首个大数据集群双活容灾产品-混合云容灾服务下的混合云大数据容灾服务(HDR for Big Data, 简称 HDR-BD),并已经在7月份开始邀测 ...
【阿里云产品公测】大数据下精确快速搜索OpenSearch
2019独角兽企业重金招聘Python工程师标准>>> [阿里云产品公测]大数据下精确快速搜索OpenSearch 作者:阿里云用户小柒2012 相信做过一两个项目的人都会遇到上级要 ...
阿里云ACE共创空间——大数据方案体验1 日志服务
阿里云ACE共创空间--大数据方案体验1 日志服务从阿里云官方文档介绍中,可以看到Log service日志服务主要包含三部分的内容: 1. 实时采集与消费LogHub 2. 查询分析Search/ ...
【公测中】阿里云发布国内首个大数据双活容灾服务，满足高要求大数据灾备场景
在6月上旬举行的云栖大会上海峰会上,阿里云发布了国内首个大数据集群双活容灾产品-混合云容灾服务下的混合云大数据容灾服务(HDR for Big Data, 简称 HDR-BD),并已经在7月份开始邀测 ...
阿里云服务器如何简单的迁移数据？阿里云通过镜像实现在线数据复制克隆
阿里云服务器如何简单的迁移数据?阿里云通过镜像实现在线数据复制克隆 1.相同阿里云账号下 2.服务器没有到期 3.不改变现有数据(包含不局限于操作系统) 实现目的:阿里云服务器如何简单的迁移数据?阿里 ...

实战之从阿里云dataworks的maxcomputer中导出数据

实战之从阿里云dataworks的maxcomputer中导出数据相关推荐

最新文章

热门文章