简介： Kettle是一款开源的ETL工具，纯java实现，可以运行于Windows, Unix, Linux上运行，提供图形化的操作界面，可以通过拖拽控件的方式，方便地定义数据传输的拓扑。Kettle支持丰富的数据输入输出源，数据库支持Oracle，MySql，DB2等，也支持业界各种开源的大数据系统，例如HDFS, HBase, Cassandra, MongoDB等。本文将介绍如何利用MaxCompute的插件无缝对接阿里云的大数据计算平台——MaxCompute。

本示例使用的工具及驱动版本
Kettle	8.2.0.0-342
MaxCompute JDBC驱动	v3.2.8

Setup

下载并安装Kettle
下载MaxCompute JDBC driver
将MaxCompute JDBC driver置于Kettle安装目录下的lib子目录（data-integration/lib）
启动spoon

Job

我们可以通过Kettle + MaxCompute JDBC driver来实现对MaxCompute中任务的组织和执行。

首先需要执行以下操作：

新建Job
新建Database Connection
JDBC连接串格式为：jdbc:odps:<maxcompute_endpoint>?project=<maxcompute_project_name>
JDBC driver class为：com.aliyun.odps.jdbc.OdpsDriver
Username为阿里云AccessKey Id
Password为阿里云AccessKey Secret
JDBC更多配置见：https://help.aliyun.com/document_detail/161246.html

之后，可以根据业务需要，通过SQL节点访问MaxCompute。下面我们以一个简单的ETL过程为例：

Create table节点的配置如下：

需要注意：

这里Connection需要选择我们配置好的
不要勾选Send SQL as single statement

Load from OSS节点配置如下：

需要注意的点同Create table节点。有关更多Load的用法，见：https://help.aliyun.com/document_detail/157418.html

Processing节点配置如下：

需要注意的点同Create table节点。

原文链接
本文为阿里云原创内容，未经允许不得转载。

Kettle on MaxCompute使用指南相关推荐

[JDBC] Kettle on MaxCompute 使用指南
简介: Kettle是一款开源的ETL工具,纯Java实现,可以在Windows.Unix和Linux上运行,提供图形化的操作界面,可以通过拖拽控件的方式,方便地定义数据传输的拓扑 .基本讲介绍基于K ...
MaxCompute安全管理指南-基础篇
背景及目的方便和辅助MaxCompute的project owner或安全管理员进行project的日常安全运维,保障数据安全. MaxCompute有安全模型,DataWorks也有安全模型,当通 ...
【干货索引】阿里云大数据计算服务MaxCompute与生态系统的融合
摘要: MaxCompute大家都不陌生,之前产品名称叫ODPS,之后随国际化而更名.从支持阿里集团内部99%数据业务到计算能力对外输出,帮助政府.互联网公司.金融等进行大数据项目服务,使得数据变现. ...
阿里巴巴大数据计算平台MaxCompute（原名ODPS）全套攻略（持续更新20171127）
概况介绍大数据计算服务(MaxCompute,原名ODPS,产品地址:https://www.aliyun.com/product/odps)是一种快速.完全托管的TB/PB级数据仓库解决方案.Ma ...
大数据全攻略：10年老兵带你看尽MaxCompute大数据运算挑战与实践
大数据计算服务(MaxCompute,原名ODPS)是一种快速.完全托管的TB/PB级数据仓库解决方案.MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决 ...
阿里云数加大数据计算服务MaxCompute文章索引（持续更新201705）
概况介绍: 10年老兵带你看尽MaxCompute大数据运算挑战与实践什么是阿里云数加大数据计算服务MaxCompute? 一分钟了解阿里云产品:大数据计算服务MaxCompute概述数加平台如何 ...
阿里云大数据计算服务MaxCompute（下篇）
关于阿里云大数据计算服务MaxCompute的详细内容: 阿里云大数据计算服务MaxCompute使用教程 (MaxCompute(原ODPS)是一项大数据计算服务,它能提供快速.完全托管的PB级数据 ...
MaxCompute studio与权限那些事儿
背景知识 MaxCompute拥有一套强大的安全体系,来保护项目空间里的数据安全.用户在使用MaxCompute时,应理解权限的一些基本概念: 权限可分解为三要素,即主体(用户账号或角色),客体(表/ ...
sqoop 增量导入mysql_sqoop增量导入数据库
Sqoop(Tunnel通道系列) Sqoop基于社区Sqoop 1.4.6版本开发,增强了对MaxCompute的支持,可以将数据从MySQL等关系数据库导入或导出到MaxCompute表中,也可以 ...

Kettle on MaxCompute使用指南

Setup

Job

Kettle on MaxCompute使用指南相关推荐

最新文章

热门文章