Hadoop_MapReduce的基本应用
实验 目的 要求 |
目的:
|
实 验 环 境 |
|
练习内容
任务一:MapReduce词频统计编程实例;
1、创建MapReduce项目;
2、修改pom.xml依赖文件
3、导入Hadoop配置文件
4、关键代码说明
4.1、map函数的方法
4.2、reduce函数的方法
4.3、main函数的调用(创建job类)
4.4、main函数的调用(设置job的输入输出路径并提交集群)
4.5、main函数的调用(定义输入输出路径)
5、编写并上传hello.txt文件至Hadoop hdfs系统
6、将项目打包成jar包并上传至Hadoop中;
7、运行jar包,并显示运行结果;
8、Web端Hadoop平台任务展示
任务二:MapReduce排序的代码实现
1、关键代码说明
1.1、map函数的方法;
1.2、reduce函数的方法;
1.3、main函数的调用(创建job类)
1.4、main函数的调用(设置job类的输入输出路径)
1.5、main函数的调用(定义输入输出路径)
2、将项目打包成jar包,并上传至Hadoop集群中;
3、上传测试文件;
4、执行程序并展示结果;
5、Web端验证;
任务三:MapReduce二次排序的实现原理
1、关键代码的实现;
1.1、map函数的方法;
1.2、Reduce函数的方法;
1.3、main函数的调用(创建job类)
1.4、main函数的调用(设置job类输入输出路径)
1.5、main函数的调用(定义输入输出路径)
1.6、main函数的调用(调用分组函数)
1.7、排序函数的实现;
2、将项目打包成jar包,并上传至Hadoop集群中;
3、上传测试文件;
4、执行程序并展示结果;
出现的问题与解决方案
排错一:
错误:关于MapReduce,Map能完全执行,Reduce执行到一半卡住不执行
排错思路:
卡住了几个小时,死活停滞不前,发现后根据提示开始排错,进入50030,进入作业发现
这说明作业在map之完后的shuffle阶段中,reduce无法从map处拷贝数据,是因为客户端与数据节点通讯失败造成的。客户端程序应该能够和所有的节点通讯才能保证数据的传输正常,然后开始各种检查:所有节点hosts中写的完全相通,不是节点名称不同或者节点没有完全加上造成的,排除;找到slaves发现写的也完全相同,不是节点缺失有误,最后查看了防火墙的状态,发现其中一个节点的防火墙没有关闭,找到原因,service iptables stop,然后重新提交作业,成功运行
排错二:
错误:Map或Reduce任务中的某些代码抛出异常,此时Hadoop强行停止java虚拟机,并向JobTracker汇报,JobTracker将任务标记为失败显示给用户,同时写入日志目录
排错思路:
设置重试次数以及等待一定次数后对异常记录跳过检测:
conf.setInt("Mapred.Map.max.attempts",2); //设置尝试次数,超过则失败
conf.setInt("Mapred.skip.attempts.to.start.skipping",1); //开始“跳过”模式,读取失败超过则开启“skip mode”
conf.setInt("Mapred.skip.Map.max.skip.reords",1); //设置最大跳过记录数;
解决:不是所有的异常都会导致任务失败,也有可能因为网络或者硬件或其他原因导致运行过慢,此时Haodop会自动在另外一个节点上启动同一个任务作为任务执行的一个备份。
排错三:
错误:JAVA虚拟机重用。
原因:Hadoop为每个任务启动一个新的虚拟机,若java虚拟机开启过多(任务被划分得过于细粒度),资源损耗会过大。
解决:“Java虚拟机重用模式”,类似线程池与连接池的原理。将细粒度的任务变成串行执行。多个java虚拟机被同时启动,执行完一个任务后,并不直接关闭,而是被加载新的任务重新执行。同时执行的java虚拟机数目可设定,默认1,(不适合重用);默认-1,所有任务都用同一个java虚拟机。
Hadoop_MapReduce的基本应用相关推荐
- 【大数据】Hadoop_MapReduce➕实操(附详细代码)
目录 前言 一.概述 1. MapReduce定义.优缺点 2. MapReduce核心思想.进程 3. MapReduce编程--WordCount 二.Hadoop序列化 1. 序列化概述 2. ...
- Hadoop - MapReduce
下载本文(PDF版). MapReduce is a framework using which we can write applications to process huge amounts o ...
- 黑猴子的家:MapReduce 找微信共同好友分析
1.数据 https://www.jianshu.com/p/1613f171f466 2.需求 以上是微信的好友列表数据,冒号前是一个用户,冒号后是该用户的所有好友(数据中的好友关系是单向的) 求出 ...
- AboutYun Resources
about云资源共享 Nosql资源: http://www.aboutyun.com/thread-5655-1-1.html (1)redis安置 (2)RedisAdminUI.zip (3)r ...
最新文章
- 微信小程序获取多选框选中值和选中值对应的id
- 这么多年,终于有人讲清楚Transformer了
- python项目部署到docker_使用docker 部署python 项目
- 计算机学院许斌副院长,马鞍山职业技术学院院长姚国成、马鞍山市卫校校长许斌一行来访我院...
- Java连接PostgreSQL数据库,增删改查
- 9.proc目录下的文件和目录详解
- Discuz! Ucenter API for JAVA jar包和测试代码
- 基于libmemcached为php扩展memcached服务
- [Android]使用ActivityGroup来切换Activity和Layout
- 注册google的gmail邮箱显示此手机号无法用于验证--解决
- 老男孩教育 | 从小白进军IT,他仅用了四个月的时间!
- 《小窗幽记》卷六 集景
- C#:调用百度接口实现文字识别(准备做一个截图文字识别软件)
- python第三方库文件传输_慢步学习,python库文件概述,再来点第三方库文件安装的干货...
- 微信php背景音乐,微信公众平台添加背景音乐
- 使用dnsmasq在本地将域名解析为CNAME别名
- Simple INF 解析
- iOS开发·紫色感叹号
- jvm常用参数 对jdk7 jdk8
- EasyCVR/EasyGBS抓包显示tcpdump命令:permission denied排查及修改
热门文章
- python3 列表转字节_Python 3.9!10大新特性值得关注
- oracle 与 client端执行结果不一致_不同模式下Spark应用的执行过程
- spring cloud微服务分布式云架构--hystrix的使用
- 洛谷P3723 [AH2017/HNOI2017]礼物(FFT)
- Didn't find class net.oschina.app.AppContext on
- MongoDB 正则表达式
- Java IO 字节流与字符流 (三)
- Twitter的应急预案、部署流程
- linux下配置ip地址的方法
- View 5.1 重装上阵(4—基础架构篇)