声明：

　　1）本文由我bitpeach原创撰写，转载时请注明出处，侵权必究。

2）本小实验工作环境为Windows系统下的百度云（联网），和Ubuntu系统的hadoop1-2-1（自己提前配好）。如不清楚配置可看《Hadoop之词频统计小实验初步配置》

3）本文由于过长，无法一次性上传。其相邻相关的博文，可参见《Hadoop的改进实验（中文分词词频统计及英文词频统计） 博文目录结构》，以阅览其余三篇剩余内容文档。

（五）单机伪分布的英文词频统计Python&Streaming

Python与Streaming背景

• Python与Streaming

背景：Python程序也可以运用至hadoop中，但不可以使用MapReduce框架，只可以使用Streaming模式借口，该接口专为非java语言提供接口，如C，shell脚本等。

1）单机本机

Hadoop 0.21.0之前的版本中的Hadoop Streaming工具只支持文本格式的数据，而从Hadoop 0.21.0开始，也支持二进制格式的数据。hadoop streaming调用非java程序的格式接口为：

Usage: $HADOOP_HOME/bin/hadoop jar \

$HADOOP_HOME/contrib/streaming/hadoop-*-streaming.jar [options]

其Options选项大致为：

（1）-input：输入文件路径

（2）-output：输出文件路径

（3）-mapper：用户自己写的mapper程序，可以是可执行文件或者脚本

（4）-reducer：用户自己写的reducer程序，可以是可执行文件或者脚本

（5）-file：打包文件到提交的作业中，可以是mapper或者reducer要用的输入文件，如配置文件，字典等。

（6）-partitioner：用户自定义的partitioner程序

（7）-combiner：用户自定义的combiner程序（必须用java实现）

（8）-D：作业的一些属性（以前用的是-jonconf）

举个例子，具体可以是：

$HADOOP_HOME/bin/hadoop jar \

contrib/streaming/hadoop-0.20.2-streaming.jar \

-input input \

-ouput output \

-mapper mapper.py \

-reducer reducer.py \

-file mapper.py \

-file reducer.py \

2）百度开放云

百度开放云很是方便，方便在于提供好了streaming的模式接口，如果需要本机提供此接口，需要将调用hadoop里的streaming.jar包，其次格式非常麻烦，有时总会不成功。不如百度开放云使用方便，当然了物有两面，百度开放云对于中文处理，显示总是乱码，故处理中文类，还是需要单机下的hadoop平台。

当然了，和单机下一样，至少你要写好两个python脚本，一个负责mapper，一个负责reducer，然后接下来后续步骤。

百度开放云提供的接口是：
hadoop jar $hadoop_streaming –input Input –output Output –mapper "python mapper.py" –reducer "python reducer.py" –file mapper.py –file reducer.py

只要环境做好，非常好用，直接成功。

Python英文词频统计实验

• 实验过程

背景：Python程序也可以运用至hadoop中，但不可以使用MapReduce框架，只可以使用Streaming模式借口，该接口专为非java语言提供接口，如C，shell脚本等。

下面的步骤均是在百度开放云上进行操作的，如需在本机上操作，原理是一样的，命令也基本相同的。

1）准备数据

先打算处理简单文本，因此上传了三个简单的英文单词文本。如下图所示，我们可以看到文本里的内容。

然后，我们要开始准备python脚本，下表可看两个脚本的内容。

接着，上传两个脚本，并执行指令：

hadoop jar $hadoop_streaming -input Input -output Output -mapper "python     mapper.py" -reducer "python reducer.py" -file mapper.py -file reducer.py

工作状态的示意图如下图所示：

最后出现结果，结果如图所示。

至此，streaming模式的英文词频统计实验结束。

<<<<<<<<<  写在页面最底的小额打赏  >>>>>>>>>

如果读者亲愿意的话，可以小额打赏我，感谢您的打赏。您的打赏是我的动力，非常感激。

必读：如您愿意打赏，打赏方式任选其一，本页面右侧的公告栏有支付宝方式打赏，微信方式打赏。

避免因打赏产生法律问题，两种打赏方式的任一打赏金额上限均为5元，谢谢您的支持。

如有问题，请24小时内通知本人邮件。