-file分发原理

run.sh文件： 通过多个-file, 将多个本地文件分发到Hadoop集群中的compute node

HADOOP_CMD="/usr/local/src/hadoop-1.2.1/bin/hadoop"
STREAM_JAR_PATH="/usr/local/src/hadoop-1.2.1/contrib/streaming/hadoop-streaming-1.2.1.jar"
INPUT_FILE_PATH="/02_filedistribute_input/The_Man_of_Property.txt"
OUTPUT_PATH="/02_filedistribute_output"
$HADOOP_CMD fs -rmr-skipTrash $OUTPUT_PATH
# job1: use -file to distribute 3 local file to cluster
# these 3 files will bestored in the same directory in each datanode
$HADOOP_CMD jar$STREAM_JAR_PATH \-input $INPUT_FILE_PATH \-output $OUTPUT_PATH \-mapper "python map.py mapper_funcwhite_list" \-reducer "python red.pyreducer_func" \-file ./map.py \-file ./red.py \-file ./white_list

修改reducer个数为三个 (第一种 -jobconf)

HADOOP_CMD="/usr/local/src/hadoop-1.2.1/bin/hadoop"
STREAM_JAR_PATH="/usr/local/src/hadoop-1.2.1/contrib/streaming/hadoop-streaming-1.2.1.jar"
INPUT_FILE_PATH="/02_filedistribute_input/The_Man_of_Property.txt"
OUTPUT_PATH="/02_filedistribute_output"
$HADOOP_CMD fs -rmr-skipTrash $OUTPUT_PATH
# job1: use -file todistribute 3 files
# these 3 files will be stored in the same directory in each datanode
$HADOOP_CMD jar$STREAM_JAR_PATH \-input $INPUT_FILE_PATH \-output $OUTPUT_PATH \-mapper "python map.py mapper_funcwhite_list" \
    -reducer "pythonred.py reducer_func" \
    -jobconf “mapred.reduce.tasks=3” \  # deprecated option, not suggested-file ./map.py \-file ./red.py \-file ./white_list

修改reducer为3个（第二种  -D）

HADOOP_CMD="/usr/local/src/hadoop-1.2.1/bin/hadoop"
STREAM_JAR_PATH="/usr/local/src/hadoop-1.2.1/contrib/streaming/hadoop-streaming-1.2.1.jar"
INPUT_FILE_PATH="/02_filedistribute_input/The_Man_of_Property.txt"
OUTPUT_PATH="/02_filedistribute_output"
$HADOOP_CMD fs -rmr-skipTrash $OUTPUT_PATH
# job1: use -file todistribute 3 files
# these 3 files will bestored in the same directory in each datanode
$HADOOP_CMD jar$STREAM_JAR_PATH \-D mapred.reduce.tasks=3 \-input $INPUT_FILE_PATH \-output $OUTPUT_PATH \-mapper "python map.py mapper_funcwhite_list" \
    -reducer "pythonred.py reducer_func" \-file ./map.py \-file ./red.py \-file ./white_list

datanode上观察分发的文件

1、作业专属目录

作业开始后，会创建专属目录， taskTracker/root/jobcache/job_xxxxxxxx

2、分发给作业的文件

被放置在同一目录，taskTracker/root/jobcache/job_xxxx/jars

3、每一个正在运行的mapper, reducer构建attempt目录

每一个运行的mapper, reducer会构建一个attempt目录，taskTracer/root/jobcache/job_xxx/attempt_yyyyy/work ,  生成符号链接文件，指向jars中的具体文件

1、将mapreduce程序运行时需要的某一个辅助文件提前上传到HDFS

例如：将实践1中的white_list上传到HDFS，本地文件在上传后直接删除

# hadoop fs -put ./white_list /
# rm -rf ./white_list

2、修改run.sh, 设置-cacheFile

HADOOP_CMD="/usr/local/src/hadoop-1.2.1/bin/hadoop"
STREAM_JAR_PATH="/usr/local/src/hadoop-1.2.1/contrib/streaming/hadoop-streaming-1.2.1.jar"
INPUT_FILE_PATH="/03_cachefiledistribute_input/The_Man_of_Property.txt"
OUTPUT_PATH="/03_cachefiledistribute_output"
$HADOOP_CMD fs -rmr-skipTrash $OUTPUT_PATH
# job2: use -cacheFileto distribute HDFS file to compute node
$HADOOP_CMD jar$STREAM_JAR_PATH \-input $INPUT_FILE_PATH \-output $OUTPUT_PATH \
    -mapper "python map.py mapper_func WH" \#这里也一定要用WH符号链接，因为作业开始运行后创建的attemps目录中只能看到WH，和map.py符号链接位于同一目录
    -reducer "pythonred.py reducer_func" \
    -cacheFile “hdfs://master:9000/white_list#WH” #WH一定要，每个attemp中要生成该符号链接,指向Tasktracer/distcache中的whitelist-file ./map.py \-file ./red.py

3、运行run.sh，提交任务，观察数据节点上的文件分发

运行结束后, jobcache下的所有内容，以及distcache下的所有内容，将全部清空

【使用场景】

假定有多个white_list文件，如果一个个通过-file方式上传就不太合理，可以将多个white_list文件，打包压缩为1个tar.gz文件，上传到HDFS，然后通过-cacheArchive方式，将HDFS压缩将件分发给各个compute node.  同时框架会自动将分发到各个compute node上的压缩文件进行解压

1、将本地多个white_list文件，打包为一个压缩文件w.tar.gz

目录结构：map.py,  red.py, white_list_dir

|_white_list_1

|_white_list_2

注意：gzip打包后的文件，上传到HDFS，通过-cacheArchive分发到计算节点后，会自动解压为同名文件夹

打包完成后的目录结构为：map.py,  red.py, white_list_dir

|_white_list_1

|_white_list_2

|_w.tar.gz

2、打包后的压缩文件上传到HDFS

# hadoop fs –put ./w.tar.gz  /# hadoop fs –ls /
查看是否已经上传成功

3、修改run.sh，-cacheArchive选项

HADOOP_CMD="/usr/local/src/hadoop-1.2.1/bin/hadoop"
STREAM_JAR_PATH="/usr/local/src/hadoop-1.2.1/contrib/streaming/hadoop-streaming-1.2.1.jar"
INPUT_FILE_PATH="/03_cachefiledistribute_input/The_Man_of_Property.txt"
OUTPUT_PATH="/03_cachefiledistribute_output"
$HADOOP_CMD fs -rmr-skipTrash $OUTPUT_PATH
# job3: use -cacheArchive to distribute HDFS compressed file to compute node
$HADOOP_CMD jar$STREAM_JAR_PATH \-input $INPUT_FILE_PATH \-output $OUTPUT_PATH \
    -mapper "python map.py mapper_func WLDIR" \#这里也一定要用WH.gz符号链接名，因为attemps中只能看到WH.gz
    -reducer "pythonred.py reducer_func" \
    -cacheArchive “hdfs://master:9000/w.tar.gz#WLDIR”#WLDIR一定要，每个attemp中要生成该符号链接,指向Tasktracer/distcache中已经自动解压的文件夹，文件夹中有white_list_1,white_list_2-file ./map.py \-file ./red.py

3、重大变动：修改map.py程序

-mapper "python map.py mapper_func WLDIR" \

可以看出map.py开始运行时，传入参数只能是WLDIR，表示压缩的HDFS文件分发到compute node后自动解压得到的目录

因此map.py要修改程序为遍历WLDIR字符串代表的目录，找到每个文件，然后再对每个文件做处理

4、运行run.sh，提交任务，观察数据节点上的文件分发

运行结束后, jobcache下的所有内容，以及distcache下的所有内容，将全部清空