云计算技术实验三安装Hadoop系统并熟悉hadoop命令

2024-05-16 11:46:48

参考资料为：

教材代码-林子雨编著《大数据基础编程、实验和案例教程（第2版）》教材所有章节代码_厦大数据库实验室博客

1.实验学时

4学时

2.实验目的

熟悉Hadoop系统的安装
掌握Hadoop系统的两种安装方式
掌握Hadoop系统的基本命令

3.实验内容

安装虚拟机和Linux环境。

虚拟机安装完毕:

已经改变虚拟机网络连接方式为桥接网络，使用手机热点连接计算机

环境为Linux系统

(二)参照实验指南的内容安装Hadoop系统，安装单机模式。

按照书上之前的配置，已经安装hadoop.

按照命令查看hadoop的例子

书上的例子统计对应的正则表达式.

书上的例子统计对应的正则表达式.

由此获得各个数字的统计数量。

(三)参照实验指南的内容安装Hadoop系统，安装伪分布式模式。

使用vim命令修改core-site.xml文件：

<configuration><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop/tmp</value><description>Abase for other temporary directories.</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>

使用vim命令修改hdfs=site.xml文件：

<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property>
</configuration>

之后执行名称节点格式化：

成功安装伪分布模式。

(四)运行伪分布式模式，在网络页面上展示HDFS的信息。

虚拟机上网查看是否运行

发现运行成功。

(五)运行伪分布式模式的实例子。

复制文件：

复制成功之后的输出表：

运行hadoop自带的grep程序：

运行结果：

关闭hadoop:

4.思考题

（一）安装Hadoop的时候遇到什么问题？采用什么方法解决的？

1.安装的时候发现虚拟机无法上网，后面在电脑的网络共享中心配置虚拟机的.xof文件重装，然后使用手机热点连接虚拟机，在虚拟机的网络配置中手动增加主机的网络ip地址连接。

2.在不用使用hadoop时，需要自己手动打出命令stop-dfs.sh关闭hadoop，不然可能数据会丢失。

云计算技术实验三安装Hadoop系统并熟悉hadoop命令相关推荐

安装Hadoop系统并熟悉hadoop命令
(一)安装虚拟机和Linux环境. 1.安装VirtualBox 6.1.12 2.安装Ubuntu Kylin (二)参照实验教材第三章的内容安装Hadoop系统,安装单机模式. 1.创建hadoo ...
三、Hadoop系统应用之Hadoop集群测试及初体验（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）
Hadoop集群搭建前安装准备参考: 一.Hadoop系统应用之安装准备(一)(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7) 一.Ha ...
服务器虚拟化实验,VMware vSphere服务器虚拟化实验三安装vCenter Server
VMware vSphere服务器虚拟化实验三安装vCenter Server vCenter Server是vSphere的核心管理工具,它可以管理数据中心访问控制.性能监控和配置,并统一各个服务 ...
计算机软件技术上海电力学院,上海电力学院计算机软件技术实验三用头插法和尾插法创建线性表...
上海电力学院计算机软件技术实验三用头插法和尾插法创建线性表 #include #define MAXLEN 9 struct table {int key; int othererm; } ; typ ...
小米笔记本android,7代小米笔记本安装凤凰系统(Phoenix OS)显示命令行ANDROID字样
7代小米笔记本安装凤凰系统(Phoenix OS)显示命令行ANDROID字样问题描述: 之前在物理机上试过一遍,再来一遍有点麻烦,拍照也可能不够清晰因为截图更清晰所以在虚拟机中操作,操作过程可会 ...
网络对抗技术实验三
学号:201521430027 中国人民公安大学 Chinese people' public security university 网络对抗技术实验报告实验三密码破解技术学生姓 ...
中国人民公安大学网络对抗技术实验三
中国人民公安大学 Chinese people' public security university 网络对抗技术实验报告实验三密码破解技术学生姓名王开君年级 15中队区队 ...
201521450014 网络对抗技术实验三葛文宣
中国人民公安大学 Chinese people' public security university 网络对抗技术实验报告实验三密码破解技术学生姓名葛文宣年级 2015级区 ...
通过虚拟磁盘技术给电脑安装双系统或多系统
如今市场上出现了很多双硬盘(小容量固态硬盘做系统盘+大容量机械硬盘用于数据备份)电脑,将操作系统安装到一整块硬盘上,那么通过拆机将装系统的硬盘,移到另一台相同配置的电脑上,就可以完美运行. 前些天由于 ...

最新文章

热门文章