Hadoop安装实验报告

一、实验目的
实现Hadoop的安装与配置
二、实验原理
在SecureCRT里面完成JDK+Hadoop安装配置、单机模式配置
四、实验步骤
1.VMWare 12安装激活
2.CentOS7安装
3.SecureCRT安装
4.SecureCRT新建Session修改外观
5.Hadoop三种模式安装配置
1.关闭防火墙
firewall-cmd --state 显示防火墙状态running/not running
systemctl stop firewalld 临时关闭防火墙，每次开机重新开启防火墙
systemctl disable firewalld 禁止防火墙服务。
2.传输JDK和HADOOP压缩包
SecureCRT 【File】→【Connect SFTP Session】开启sftp操作
put jdk-8u121-linux-x64.tar.gz
put hadoop-2.7.3.tar.gz
传输文件从本地当前路径（Windows）到当前路径（Linux）

3.解压JDK、HADOOP
tar -zxvf jdk-8u121-linux-x64.tar.gz -C /opt/module 解压安装
tar -zxvf hadoop-2.7.3.tar.gz -C /opt/module 解压安装

mkdir module

4.配置JDK并生效
vi /etc/profile文件添加：
export JAVA_HOME=/opt/module/jdk1.8.0_121
export PATH= J A V A H O M E / b i n : JAVA_HOME/bin: JAVAHOME/bin:PATH
Esc :wq!保存并退出。不需要配置CLASSPATH。
source /etc/profile配置生效
运行命令javac，检验是否成功。

5.配置HADOOP并生效
vi /etc/profile文件添加：
export HADOOP_HOME=/opt/module/hadoop-2.7.3
export PATH= H A D O O P H O M E / b i n : HADOOP_HOME/bin: HADOOPHOME/bin:HADOOP_HOME/sbin:$PATH
Esc :wq!保存并退出。
source /etc/profile配置生效
运行命令hadoop，检验是否成功。

5.单机模式配置hadoop -env.sh
vi /opt/module/hadoop-2.7.3/etc/hadoop/hadoop-env.sh文件修改
显示行号 Esc :set number 取消行号Esc :set nonumber
修改第25行export JAVA_HOME=/opt/module/jdk1.8.0_121
Esc :wq!保存并退出
本地模式没有HDFS和Yarn，配置JDK后MapReduce能够运行java程序。
6.Hadoop的伪分布式模式
对文件进行修改
三、格式化
hdfs namenode -format （如果不是第一次格式化，格式化之前先删除/opt/module/hadoop-2.7.3/下面的tmp、logs两个目录）
四、启动

cd /root/hadoop-2.7.3/tmp/dfs
start-all.sh （如果启动之前已经启动过，启动之前先停止stop-all.sh）(启动记得关闭防火墙)
查看伪分布式配置是否成功：
①执行ll，查看/opt/module/hadoop-2.7.3/tmp/dfs目录，如下图所示，则正确。
②执行jps，如下图所示，NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager如果全部启动，伪分布式配置成功。

③web控制台访问：http://192.168.163.132:50070 、http://192.168.163.132:8088
页面正常显示，则成功。
五、运行wordcount
hdfs dfs -put in.txt /adir 上传本地当前路径下的in.txt文件到hdfs的/adir目录下。
运行hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /adir/in.txt output/。
在http://192.168.163.132:50070 查看/user/root/output/part-r-00000文件里的词频统计结果。
五、结论
完成了对JDK和hadoop的配置以及安装，学习了Hadoop的伪分布式以及完全分布式操作。

Hadoop安装实验报告相关推荐

Hadoop安装实验及MapReduce编程实验指导
实验环境:Red Hat 6.5.Hadoop-2.6.5 JDK1.7.0版本具体参考实验指导书,本文档做辅助工作,详细命令请看教学实验指导书. 1.Hadoop安装实验准备工作配置主机名 ...
oracle的安装实验报告,Oracle实验报告Oracle实验报告.doc
Oracle实验报告Oracle实验报告本科实验报告课程名称: 大型数据库系统实验地点: 逸夫楼402 专业班级: 软件1103班学号:2011004980 学生姓名: 李永飞指导教师: 王 ...
计算机硬件安装实验报告,[转载]计算机硬件系统及组装【大一计算机实验报告】...
计算机硬件系统及组装目录计算机硬件系统由运算器.控制器.存储器.输入设备和输出设备等五大部件组成 1.运算器运算器是一个"信息加工厂".数据的运算和处理工作就是在运算器中进行 ...
计算机硬件安装实验报告,计算机硬件的组装实验报告.doc
计算机硬件的组装实验报告计算机硬件的组装实验时间:3月30日晚6:00-9:00 学号: 姓名: 一.实验目的 1.加深对理论知识的理解,提高实际动手能力: 2.了解计算机的主要部件 ...
台式计算机的拆解与安装实验报告,计算机组成实验的实验报告
实验目的: 对于刚步入高中的学生来说,尽管在初中学过信息技术,但大多数同学对计算机硬件了解不多,往往只停留在文字.图片等水平上.通过本实验,让学生达到以下目的. 1.能够正确认识计算机硬件的基本组成, ...
大学计算机实验报告虚拟机,安装虚拟机的实验报告(共10篇).docx
文档介绍: 安装虚拟机的实验报告(共10篇) 服务器配置与管理实验报告实验虚拟机的安装和使用专业网络工程班级XX级网5姓名吴越学号XX指导教师刘仁山 XX年11月1日一.实验目的本次实验的目的为了解虚 ...
计算机组装与操作系统安装实验报告,操作系统安装实验报告(共10篇).docx
操作系统的安装实验报告(共10篇) 实验报告课程名称:网络操作系统实验项目名称:WindowsServerXX的操作系统的安装: RedHatLinux9的操作系统的安装学生姓名:胡廷专业:计算机 ...
第一次实验报告Hadoop
第一次实验报告Hadoop(三种模式安装配置) 实验小结通过对Hadoop模式安装配置的学习,我学习和熟悉了一些新的指令操作,对hadoop的基本操作有了基础的掌握,hadoop的环境配置原理和编译 ...
大学计算机实验报告虚拟机,1虚拟机安装和使用实验报告书
实验报告之后,接下来需要安装 VMware Tools.VMware Tools 相当于 VMware 虚拟机的主板芯片组驱动和显卡驱动.鼠标驱动,在安装 VMware Tools 后,可以极大 ...
用Hadoop分析金庸人物关系网-实验报告
用Hadoop分析金庸人物关系网 --- 用大数据粗略的分析金庸人物关系网整体结果报告达到预期目标并完成了选做内容实验目标描述: 金庸的江湖课程设计目标通过一个综合数据分析案例:" ...

Hadoop安装实验报告

Hadoop安装实验报告相关推荐

最新文章

热门文章