《Hadoop与大数据挖掘》一2.3.5　动手实践：运行MapReduce任务

本节书摘来华章计算机《Hadoop与大数据挖掘》一书中的第2章，第2.3.5节，张良均　樊　哲　位文超　刘名军许国杰　周　龙　焦正升　著更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.3.5　动手实践：运行MapReduce任务

实验步骤如下：
1）上传/root/anaconda-ks.cfg文件到HDFS文件系统/user/root目录；
2）使用yarn jar的方式提交任务，其中，

jar文件：$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar
主类为：wordcount
输入参数：/user/root/anaconda-ks.cfg
输出参数：/user/root/wc_00
3）查看输出运行结果；

4）使用mapred job命令查看任务状态及对应日志输出；
5）再次执行任务，查看输出信息；
6）产生一个大数据文件，上传到HDFS，使用该大数据文件执行单词计数MapReduce任务，在执行到一半后，使用mapred job的kill命令，杀死该任务，查看相关输出信息。
思考：
1）执行第5步的时候会报错吗？报什么错？怎么解决？
2）可以在Hadoop IDE中直接提交Job吗？如果可以怎么做？如果不可以，为什么？

《Hadoop与大数据挖掘》一2.3.5　动手实践：运行MapReduce任务相关推荐

《Hadoop与大数据挖掘》——2.6　TF-IDF算法原理及Hadoop MapReduce实现
本节书摘来自华章计算机<Hadoop与大数据挖掘>一书中的第2章,第2.6节,作者张良均樊哲位文超刘名军许国杰周龙焦正升,更多章节内容可以访问云栖社区"华章计算机& ...
分享Hadoop处理大数据工具及优势
现如今,随着云计算技术.物联网技术的兴起,企业需要应对的数据规模越来越大.数据格式越来越复杂.数据收集速度越来越快,也使得它和传统意义的业务数据相比,有了明显的特点.比如ApacheHadoop已成为 ...
决胜大数据时代：HadoopYarnSpark企业级最佳实践(3天)
Hadoop是云计算的事实标准软件框架,是云计算理念.机制和商业化的具体实现,是整个云计算技术学习中公认的核心和最具有价值内容. Yarn是目前公认的最佳的分布式集群资源管理框架: Mahout是目前 ...
基于Hadoop/Mahout/Mllib的大数据挖掘培训开课
3月16日,由培训中心举办的"大数据分析挖掘-基于Hadoop/Mahout/MLlib的大数据挖掘"在北京厦门大厦开课.20位来自政府机关,金融保险.移动和互联网等大数据来源单位 ...
基于Hadoop的大数据平台实施记——整体架构设计[转]
http://blog.csdn.net/jacktan/article/details/9200979 大数据的热度在持续的升温,继云计算之后大数据成为又一大众所追捧的新星.我们暂不去讨论大数据到底 ...
荐六十款针对Hadoop和大数据顶级开源工具
为什么80%的码农都做不了架构师?>>> 荐六十款针对Hadoop和大数据顶级开源工具 2015-08-10 10:37 布加迪编译 51CTO 字号: T | T 说到处理 ...
混凝土泵送机械大数据挖掘与应用
混凝土泵送机械大数据挖掘与应用赵鑫, 吴德志, 周志忠中联重科股份有限公司,湖南长沙 410205 国家混凝土机械工程技术研究中心,湖南长沙 410205 摘要:基于混凝土机械设备的施工数据. ...
2015年《大数据》高被引论文Top10文章No.2——大数据时代的数据挖掘 —— 从应用的角度看大数据挖掘（下）...
2015年<大数据>高被引论文Top10文章展示 [编者按]本刊将把2015年<大数据>高被引论文Top10的文章陆续发布,欢迎大家关注!本文为高被引Top10论文的No.2, ...
2015年《大数据》高被引论文Top10文章No.2——大数据时代的数据挖掘 —— 从应用的角度看大数据挖掘（上）...
2015年<大数据>高被引论文Top10文章展示 [编者按]本刊将把2015年<大数据>高被引论文Top10的文章陆续发布,欢迎大家关注!本文为高被引Top10论文的No.2, ...

《Hadoop与大数据挖掘》一2.3.5　动手实践：运行MapReduce任务

2.3.5　动手实践：运行MapReduce任务

《Hadoop与大数据挖掘》一2.3.5　动手实践：运行MapReduce任务相关推荐

最新文章

热门文章

《Hadoop与大数据挖掘》一2.3.5 动手实践：运行MapReduce任务

2.3.5 动手实践：运行MapReduce任务

《Hadoop与大数据挖掘》一2.3.5 动手实践：运行MapReduce任务相关推荐

最新文章

热门文章

《Hadoop与大数据挖掘》一2.3.5　动手实践：运行MapReduce任务

2.3.5　动手实践：运行MapReduce任务

《Hadoop与大数据挖掘》一2.3.5　动手实践：运行MapReduce任务相关推荐