只看楼主更多操作楼主  发表于: 2014-11-07
—本帖被 亮伟 执行取消精华操作(2014-11-27)—
准备工作:

  1. 登录阿里云官网,开通odps服务。创建一个odps的project。
  2. 安装odps的客户端,具体的方法见 传送门
  3. 下载Eclipse并解压缩。建议到官网上下载。作为一个java开发,大家应该是很熟练的。
  4. 下载odps的Eclipse插件(把rar文件解压成jar文件)并拷贝到Eclipse解压文件里的plugins文件夹里

准备工作就绪后,开工啦~
打开Eclipse,如果之前jar包拷贝好了,点击圈圈里的地方,会出现如图的框。有看到里面odps的图标,就表示jar包拷贝成功了

然后是配置odps的客户端环境

其中odps的console directory是到odps-cli-java\odps过的,不需要配置到bin里面去
点击ok后,我们可以创建我们的odps工程了

然后会发现已经有好多文件和jar包了,这里解释一下这些文件/文件夹的用处

src就是我们代码写在这个位置
可以看到引了一个jar库,上面那个是1.6的java jdk,下面那个是从odps客户端里引用过来的一些odps的jar包。我们不需要修改这些
example里放了俩java文件,其中LocalDriver是一个模拟的odps服务器环境,所有的mr程序应该要用这里做为入口。至于怎么做入口跑后面会讲到。WordCount就是我们今天的测试脚本
mr_local_jobs:所有本地在跑的mr程序的日志啥的都放里面。等随便跑一个任务后到这个文件夹里一刷新,就能看到了
warehouse:Eclipse环境模拟的odps上的数据环境,下面的子文件夹mr_test是模拟的一个project的名字。__resources__里放的是odps里的resource,wc_in就是我们的测试表,里面的俩文件名__schema__放的是表的meta信息,比如列名和类型。另外一个放表数据。

准备工作完成,试试能不能用
打开LocalDriver.java

我在LocalDriver.java里改了id和key,比如Account account = new AliyunAccount(id, key);
然后点击下面图里的位置

双击下图的1,会出现2,点击2和3,点击run就好了
参数是
com.aliyun.odps.mapred.examples.WordCount aliyun2014 wc_in wc_out
其中的aliyun2014是我的project的名字

这时候,就可以到wc_out里的存放数据的文件里看到要的数据了。

odps新手上路之安装Eclipse开发环境相关推荐

  1. Windows下Eclipse+PyDev安装Python开发环境

    1.简介 Eclipse是一款基于Java的可扩展开发平台.其官方下载中包括J2EE方向版本.Java方向版本.C/C++方向版本.移动应用方向版本等诸多版本.除此之外,Eclipse还可以通过安装插 ...

  2. Eclipse开发环境搭建

    锁定老帖子 主题:Eclipse开发环境搭建 精华帖 (0) :: 良好帖 (3) :: 新手帖 (13) :: 隐藏帖 (0) 作者 正文 hanqunfeng 等级: 性别: 文章: 57 积分: ...

  3. JDK安装以及开发环境搭建

    无论是Java开发.J2EE以及Android开发搭建环境时JDK开发环境搭建及环境变量配置是必不可少的,这篇文章就来就分别介绍下JDK的下载以及不同平台的环境变量的配置. 1.安装JDK开发环境 官 ...

  4. Hadoop Eclipse开发环境设置

    1.Hadoop开发环境简介 1.1 Hadoop集群简介 Java版本:jdk-6u31-linux-i586.bin Linux系统:CentOS6.0 Hadoop版本:hadoop-1.0.0 ...

  5. 搭建Python+Eclipse开发环境

    写在前面:因为hacker,开始学习Python,学习书籍是<Python灰帽子--黑客与逆向工程师的Python编程之道> 成为高手的秘诀--高手气质修炼! -------------- ...

  6. linux eclipse下qt开发环境搭建,Qt Eclipse开发环境的部署 上篇

    关于Qt  Eclipse的开F发,将会从不同的环境中区安装部署,分为上.中.篇,三篇文章来讲.Windows,Linux平台下安装使用eclipse + QT4.4.3开发环境,Windows,Li ...

  7. ubuntu eclipse java_搭建Ubuntu Java Eclipse开发环境

    搭建环境:Ubuntu 16.04 ×64 1.搭建jdk1.8运行环境 1.1.下载jdk1.8 使用的版本:jdk-8u121-linux-x64.tar.gz 1.2.安装jdk1.8 STEP ...

  8. hadoop搭建与eclipse开发环境设置

    hadoop搭建与eclipse开发环境设置(转) 1.    Windows下eclipse开发环境配置 1.1 安装开发hadoop插件 将hadoop安装包hadoop\contrib\ecli ...

  9. Linux桌面版安装及开发环境配置

    Linux桌面版安装及开发环境配置 1.安装Linux For Desktop 本文所面向对象无非也是和本人一样的技术小白,和windows系统以及mac不同,对于linux系统的选择却也是众说纷纭, ...

最新文章

  1. windows性能计数器搜集方法
  2. 保护SNMP协议服务安全的三个步骤
  3. Q 版老黄带着硬核技术再登场,有点可爱,很有东西
  4. 打印swift 变量的类型
  5. mysql如何在sql语句中用php变量
  6. Oracle 杀死session的方法
  7. Android和IOS 调用 支付宝和微信 支付方法
  8. 携程的 Dubbo 之路
  9. C语言总谐波失真(THD)实现,从理论到应用分析改进详解
  10. 计算机网络16进制地址,计算机内存地址和为什么用16进制?
  11. win 10 虚拟机设置固定 ip
  12. C#图片处理 解决左右镜像相反(旋转图片)
  13. 印象笔记导出为pdf
  14. curl put请求
  15. Unity程序框架总结归置系列(1)——单例基类
  16. 混沌工程之ChaosBlade(一):建立混沌工程思想
  17. java中new具体意思_java中new是什么意思?
  18. 有温度传感器的风机控制系统C语言,基于单片机的暖风机的设计任务书、开题报告...
  19. 交易所要变天?去中心化交易所崛起,蚕食用户,抢夺流量
  20. kvm 验证-模拟字节码执行

热门文章

  1. 流量复制_详解Linux系统流量复制--gor、tcpcopy、nginx模块流量复制等
  2. android 地图放大缩小按钮,Android 百度最新地图隐藏 放大缩小按钮、指南针、缩放比例的方法...
  3. php如何解决脏读,php 技术沉淀
  4. 办公网络对工业交换机的功能要求
  5. 如何选购工业级光模块
  6. 【渝粤教育】国家开放大学2019年春季 0233-22T学前儿童语言教育 参考试题
  7. [渝粤教育] 西南科技大学 货币银行学 在线考试复习资料
  8. [渝粤教育] 西南科技大学 工程力学 在线考试复习资料
  9. 【渝粤题库】国家开放大学2021春1121健康教育与健康促进题目
  10. php 脏数据,使用 PHP Masked Package 屏蔽敏感数据