MapReduce程序中的万能输入FileInputFormat.addInputPaths

from http://www.linuxidc.com/Linux/2014-11/109697.htm

写MapReduce过程中经常会遇到多个源路径的输入，我们可以在MapReduce程序主函数中通过FileInputFormat.addInputPaths(job,args[0])方法来实现，

args[0]可以是folder1或者folder1，folder2只要以逗号分隔就可以了。

这样在执行MR的时候，输入会将多个源路径全部作为map输入进行执行。

另外一种实现单输入的方法（只支持一个目录作为输入目录）：

FileInputFormat.setInputPaths(job, new Path(args[0]));

当然FileInputFormat.addInputPaths是兼容FileInputFormat.setInputPath的，也就是说如果我调用的是多输入路径函数，但是输入数据源只有一个路径，也是能够正常执行的，所以通用起见，FileInputFormat.addInputPaths是个更好的选择。

MapReduce程序中的万能输入FileInputFormat.addInputPaths相关推荐

chrome麦克风权限_如何在Chrome扩展程序中处理麦克风输入权限和语音识别
chrome麦克风权限 by Palash Taneja 由Palash Taneja 如何在Chrome扩展程序中处理麦克风输入权限和语音识别 (How to handle mic input pe ...
python获取本月天数_Python从程序中用户的输入中获取每月的天数
这就是我要做的: 用户将按顺序输入年.月数(1-12)和日数.程序将确定日期是在将来还是在过去.(如果输入的日期是今天的日期,则假定该日期是过去的日期).未来的约会是尚未发生的日期.如果今天是7月31 ...
一脸懵逼学习Hadoop中的MapReduce程序中自定义分组的实现
1:首先搞好实体类对象: write 是把每个对象序列化到输出流,readFields是把输入流字节反序列化,实现WritableComparable,Java值对象的比较:一般需要重写toStrin ...
java应用程序中判断用户输入的一个整数是否在已知数组里。
import java.util.*; class Example2_5 {public static void main(String args[]) {int start=0,end,middle ...
微信小程序中 input空间输入文字如何清空
场景:希望读取input控件的输入内容之后,清空输入框的内容.由于本人是JS小白,整整花了一两个小时都没找到方法. 原来微信小程序不支持document通过id获取控件的方法,尽管编译不报错,但是实际 ...
支付宝小程序中实现搜索输入提示关键字高亮显示
效果如下图所示输入框输入关键字后台返回的提示信息直接上代码对请求得到的数据进行处理 // 高亮搜索关键字searchTap() {// 分割函数let getInf = (str, k ...
hadoop FileInputFormat.addInputPaths兼容FileInputFormat.setInputPath
写MR过程中经常会遇到多个源路径的输入,我们可以在MR程序主函数中通过FileInputFormat.addInputPaths(job,args[0])方法来实现, args[0]可以是folder ...
Mapreduce程序统计文件中每个单词出现次数
mapreduce程序统计文件中每个单词出现次数调用MapReduce对文件中各个单词出现次数进行统计一.安装环境二.准备工作 1.创建Hadoop账户 2.更新 apt 3.安装vim 4. ...

MapReduce程序中的万能输入FileInputFormat.addInputPaths

MapReduce程序中的万能输入FileInputFormat.addInputPaths相关推荐

最新文章

热门文章