[MaxCompute MapReduce实践]通过简单瘦身，解决Dataworks 10M文件限制问题

用户在DataWorks上执行MapReduce作业的时候，文件大于10M的JAR和资源文件不能上传到Dataworks，导致无法使用调度去定期执行MapReduce作业。

解决方案：

第一步：大于10M的resources通过MaxCompute CLI客户端上传，

客户端下载地址：https://help.aliyun.com/document_detail/27971.html

客户端配置AK、EndPoint：https://help.aliyun.com/document_detail/27804.html

add jar C:\test_mr\test_ab.jar -f;//添加资源，大于10M

第二步：目前通过MaxCompute CLI上传的资源，在Dataworks左侧资源列表是找不到的，只能通过list resources查看确认资源；

list resources;//查看资源

第三步：瘦身Jar，因为Dataworks执行MR作业的时候，一定要依赖ClassPath，所以要在Dataworks中注册瘦身Jar（保留main就可以），之后提交到MaxCompute集群，系统会找到刚才客户端CLI注册的大于10M的resources资源；

jar -resources test_mr.jar,test_ab.jar
//resources在客户端注册后直接引用-classpath test_mr.jar
//瘦身策略：在gateway上提交要有main和相关的mapper和reducer，
额外的三方依赖可以不需要，其他都可以放到resourcescom.aliyun.odps.examples.mr.test_mr wc_in wc_out;

通过上述方法，我们可以在Dataworks上跑大于10M的MR作业。

[MaxCompute MapReduce实践]通过简单瘦身，解决Dataworks 10M文件限制问题相关推荐

Windows 10 文件夹越来越大，如何瘦身，删除哪些文件？
Windows 10 文件夹越来越大,如何瘦身,删除哪些文件? 1,清除C盘临时文件同时按住Windows键和R键打开运行框输入"%temp%" 界面: 定位临时文件夹删除所 ...
[转]ubuntu系统瘦身-清理系统垃圾文件
这几天硬盘空间实在太小了,导致系统报警,找了些方法,居然随便清理出来30几G (1) 对anaconda瘦身: 这两条命令是对conda的无硬依赖的库进行清理.我清理出10+G- conda clea ...
mysql数据库文件瘦身_mysql数据库ibdata1文件瘦身
遇到InnoDB的共享表空间文件ibdata1文件大小暴增时,应该如何处理? 1.问题背景用MySQL/InnoDB的童鞋可能也会有过烦恼,不知道为什么原因,ibdata1文件莫名其妙的增大,不知道 ...
gradle瘦身/删除没有用的文件
Android Studio默认会在C:\Users\用户名\ .xxx 缓存一些数据.当使用Android Studio时间越来越长时,会发现C盘存储空间越来越小. 存储空间增加的主要原因是: 经常 ...
newduba首页怎么去掉_京喜小程序首页瘦身实践
前言在 web 开发场景,减少代码体积虽然是性能优化的一个方向,还没到锱铢必较的程度.但是在小程序场景,由于代码包上传阶段限制了主包 2M 和总包 16M(近期微信官方正在内测将总包上限调整至 20 ...
京东金融Android瘦身探索与实践
作者:京东科技冯建华一.背景随着业务不断迭代更新,App的大小也在快速增加,2019年~2022年期间一度超过了117M,期间我们也做了部分优化如图1红色部分所示,但在做优化的同时面临着新的增量 ...
【rzxt】win7占用空间过大简单的为C盘瘦身
很多同学安装了win7系统之后发现C盘空余的空间严重不足了,是的WIN7系统对硬件要求教高,我们能够做的就是系统安装完成之后瘦身的工作. 第一步就是开启 Administrator 帐户,先取得最高 ...
iOS 优化 - 瘦身
前言 iOS 优化将是一个专题,其中会包括包体积优化(瘦身).启动时间优化.UI 优化等等.那么这个专题的开篇就从瘦身开始吧. APP 的大小是分为 APP 下载大小和安装大小两个概念的. 下载大小是 ...
「Android」 APK瘦身探索
本文来自尚妆Android团队青峰发表于尚妆博客 APK瘦身探索最近几周一直在研究如何为APK瘦身,折腾了很久,是时候写篇博客总结一下了,虽然已经准备了下周一要在客户端周会分享用的PPT:APK瘦 ...

[MaxCompute MapReduce实践]通过简单瘦身，解决Dataworks 10M文件限制问题

[MaxCompute MapReduce实践]通过简单瘦身，解决Dataworks 10M文件限制问题相关推荐

最新文章

热门文章