MapReduce如何使用多路输出

Streaming支持多路输出(SuffixMultipleTextOutputFormat)

如下示例:

Hadoop streaming \

-input /home/mr/data/test_tab/ \

-output /home/mr/output/tab_test/out19 \

-outputformatorg.apache.hadoop.mapred.lib.SuffixMultipleTextOutputFormat\ # 指定outputformat为org.apache.hadoop.mapred.lib.SuffixMultipleTextOutputFormat

-jobconf suffix.multiple.outputformat.filesuffix=a,c,f,abc,cde \ # 指定输出文件名的前缀，所有需要输出的文件名必须通过该参数配置，否则job会失败

-jobconf suffix.multiple.outputformat.separator="#"\ #设置value与文件名的分割符，默认为“#”，如果value本身含有“#”，则可以通过该参数设置其他的分隔符

-mapper "cat" \

-reducer "sh reduce.sh" \

-file reduce.sh

注：标记为红色的参数必须设置，参数说明请见注释

Map或者reduce里需要在每个记录的reduce追加“#+文件名”

#!/bin/bash

while read line

key=$(echo $line | awk -F' ' '{print $1}')

value=$(echo $line | awk -F' ' '{print $2}')

if [ "$key" == "a" ]

then

echo"$key $value#a"

if [ "$key" == "c" ]

then

echo "$key $value#c"

if [ "$key" =="f" ]

then

echo "$key $value#f"

if [ "$key" =="abc" ]

then

echo "$key $value#abc"

if [ "$key" =="cde" ]

then

echo "$key $value#cde"

done

MapReduce如何使用多路输出相关推荐

MapReduce工作笔记——Streaming多路输出
文章目录多路输出实现 MapReduce工作笔记系列目录:MapReduce工作笔记--目录多路输出加入如下命令: -outputformat org.apache.hadoop.mapre ...
Hadoop Streaming 实战：多路输出
streaming把reduce的输出作为一个任务的最终输出,输出文件形如: part-00000.part-00001-- 文件个数为reduce任务个数但是,有的时候,我 ...
ITK:多路输出不同的类型
ITK:多路输出不同的类型内容提要 C++实现代码内容提要编写一个具有多个不同类型输出的过滤器. C++实现代码 #include "itkImage.h" #include ...
ITK:多路输出相同类型的
ITK:多路输出相同类型的内容提要 C++实现代码内容提要编写一个具有多个相同类型输出的过滤器. C++实现代码 #include "itkImage.h" #include ...
半桥llc 增益 matlab程序,半桥LLC谐振设计多路输出辅助电源
引言随着电力电子技术的发展,稳定.可靠.低EMI成为对辅助电源最基本的要求.本文详细介绍了一种多路输出,而且相互独立的新型辅助电源的设计方法. 设计采用AC/DC-AC/DC的变换方案.不控整流后的 ...
多路输出开关电源的设计及应用原则
1引言对现代电子系统,即便是最简单的由单片机和单一I/O接口电路所组成的电子系统来讲, 其电源电压一般也要由+5V,±15V或±12V等多路组成,而对较复杂的电子系统来讲,实际用到的电源电压就更多了 ...
hadoop中带后缀的多路输出part文件
[导读] hadoop源代码中org.apache.hadoop.mapred.lib.MultipleTextOutputFormat类实现了多路输出的框架.在此基础上,可以实现自定义的多路输出方案 ...
flink-cdc,clickhouse写入，多路输出
1.场景 kafka日志数据从kafka读取 1.关联字典表:完善日志数据 2.判断日志内容级别:多路输出低级:入clickhouse 高级:入clickhouse的同时推送到kafka供2次数据流 ...
ffmpeg转码多路输出(二)
ffmpeg转码多路输出(二) 本程序支持一路输入多路输出,可根据map配置自行添加,第1路为纯拷贝,其他2路经过编解码,格式转换缩放和重采样,纯拷贝方面不同格式适应方面还没做全,以后补充.本程序适合 ...
STM32F7同一定时器多路输出PWM波通道之间相互影响问题
--------------------------2020/8/12更新-------------------------------- 这次用Cube直接生成PWM控制代码,然后再RT-Threa ...

MapReduce如何使用多路输出

MapReduce如何使用多路输出相关推荐

最新文章

热门文章