安装Hadoop系统并熟悉hadoop命令
(一)安装虚拟机和
Linux
环境。1.安装
VirtualBox 6.1.12
2.安装
Ubuntu Kylin
(二)参照实验教材第三章的内容安装
Hadoop
系统,安装单机模式。1.创建
hadoop
用户①首先按
ctrl+alt+t
打开终端窗口,创建可以登陆的hadoop
用户,并使用/bin/bash
作为shell
。
②设置密码,为hadoop
用户增加管理员权限,方便部署;
③最后注销当前用户(点击屏幕右上角的齿轮,选择注销),返回登陆界面。在登陆界面中选择刚创建的hadoop
用户进行登陆。
2.更新
apt
①用
hadoop
用户登录后,先更新apt
,后续我们使用apt
安装软件,如果没更新可能有一些软件安装不了。
②后续需要更改一些配置文件,先安装vim
。
3.安装
SSH
、配置SSH
无密码登陆①集群、单节点模式都需要用到
SSH
登陆(类似于远程登陆,可以登录某台Linux
主机,并且在上面运行命令),Ubuntu
默认已安装了SSH client
,此外还需要安装SSH server
。
②安装SSH server
后,可以使用如下命令登陆本机:
③每次登陆是需要每次输入密码的,需要配置成SSH
无密码登陆比较方便。首先退出刚才的ssh
,就回到了我们原先的终端窗口,然后利用ssh-keygen
生成密钥,并将密钥加入到授权中。
④此时再用ssh localhost
命令,无需输入密码就可以直接登陆。
4.安装
Java
环境①
Hadoop3.1.3
需要JDK
版本在1.8
及以上,以下采用手动方式安装JDK1.8
。压缩格式的文件jdk-8u162-linux-x64.tar.gz
下载到本地电脑,保存在“/home/hadoop/桌面
”目录下。在Linux
命令行界面中,执行如下Shell
命令(注意:当前登录用户名是hadoop
)
②JDK
文件解压缩以后,可以执行如下命令到/usr/lib/jvm
目录可以看到,在/usr/lib/jvm
目录下有个jdk1.8.0_162
目录。
③继续执行如下命令,设置环境变量。
④打开了hadoop
用户的环境变量配置文件,请在这个文件的开头位置,添加如下几行内容,保存.bashrc
文件并退出vim
编辑器。
⑤然后继续执行如下命令让.bashrc
文件的配置立即生效,随后查看是否安装成功。在屏幕上返回如下信息,则说明安装成功。
5.安装
Hadoop3.1.3
①压缩格式的文件
hadoop-3.1.3.tar.gz
已经下载保存在“/home/hadoop/桌面
”目录下,选择将Hadoop
安装至/usr/local/
中,并将文件名改为hadoop
和修改文件权限。
②Hadoop
解压后即可使用,输入如下命令来检查Hadoop
是否可用,成功则会显示Hadoop
版本信息:
6.
Hadoop
单机配置(非分布式)①
Hadoop
默认模式为非分布式模式(本地模式),无需进行其他配置即可运行。非分布式即单Java
进程,方便进行调试。选择运行grep
例子,将input
文件夹中的所有文件作为输入,筛选当中符合正则表达式dfs[a-z.]+
的单词并统计出现的次数,最后输出结果到output
文件夹中。
②执行成功后如下所示,输出了作业的相关信息,输出的结果是符合正则的单词dfsadmin
出现了1次。
③(注意,Hadoop
默认不会覆盖结果文件,因此再次运行上面实例会提示出错,需要先将./output
删除。)
(三)参照实验教材第三章的内容安装
Hadoop
系统,安装伪分布式模式。
Hadoop
可以在单节点上以伪分布式的方式运行,Hadoop
进程以分离的Java
进程来运行,节点既作为NameNode
也作为DataNode
,同时,读取的是HDFS
中的文件。
Hadoop
的配置文件位于/usr/local/hadoop/etc/hadoop/
中,伪分布式需要修改2个配置文件core-site.xml
和hdfs-site.xml
。Hadoop
的配置文件是xml
格式,每个配置以声明property
的name
和value
的方式来实现。①修改配置文件
core-site.xml
(通过gedit
编辑会比较方便:gedit ./etc/hadoop/core-site.xml
),将当中的
修改为
②同样修改配置文件hdfs-site.xml
:
修改为
③配置完成后,执行NameNode
的格式化:,成功的话,会看到 “successfully formatted
” 的提示,具体返回类似如下信息。
(四) 运行伪分布式模式,在网络页面上展示
HDFS
的信息。①开启
NameNode
和DataNode
守护进程。
②成功启动后,可以访问Web
界面http://localhost:9870
查看NameNode
和Datanode
信息,还可以在线查看HDFS
中的文件。
(五)运行伪分布式模式的实例。
①伪分布式读取的则是
HDFS
上的数据。要使用HDFS
,首先需要在HDFS
中创建用户目录:
②接着将./etc/hadoop
中的xml
文件作为输入文件复制到分布式文件系统中,即将/usr/local/hadoop/etc/hadoop
复制到分布式文件系统中的/user/hadoop/input
中。我们使用的是hadoop
用户,并且已创建相应的用户目录/user/hadoop
,因此在命令中就可以使用相对路径如input
,其对应的绝对路径就是/user/hadoop/input
:
③复制完成后,可以通过如下命令查看文件列表:
④伪分布式运行MapReduce
作业的方式跟单机模式相同,区别在于伪分布式读取的是HDFS
中的文件(可以将单机步骤中创建的本地input
文件夹,输出结果output
文件夹都删掉来验证这一点)。
⑤查看运行结果的命令(查看的是位于HDFS
中的输出结果)。注意到刚才已经更改了配置文件,所以运行结果不同。
⑥将运行结果取回到本地:
⑦Hadoop
运行程序时,输出目录不能存在,否则会提示错误 “org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/user/hadoop/output already exists
” ,因此若要再次执行,需要执行如下命令删除output
文件夹:
⑧若要关闭Hadoop
,则运行./sbin/stop-dfs.sh
。
下次启动hadoop
时,无需进行NameNode
的初始化,只需要运行./sbin/start-dfs.sh
就可以。
安装Hadoop系统并熟悉hadoop命令相关推荐
- 云计算技术 实验三 安装Hadoop系统并熟悉hadoop命令
参考资料为: 教材代码-林子雨编著<大数据基础编程.实验和案例教程(第2版)>教材所有章节代码_厦大数据库实验室博客 1.实验学时 4学时 2.实验目的 熟悉Hadoop系统的安装 掌握H ...
- 三、Hadoop系统应用之Hadoop集群测试及初体验(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)
Hadoop集群搭建前安装准备参考: 一.Hadoop系统应用之安装准备(一)(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7) 一.Ha ...
- 小米笔记本android,7代小米笔记本安装凤凰系统(Phoenix OS)显示命令行ANDROID字样
7代小米笔记本安装凤凰系统(Phoenix OS)显示命令行ANDROID字样 问题描述: 之前在物理机上试过一遍,再来一遍有点麻烦,拍照也可能不够清晰 因为截图更清晰所以在虚拟机中操作,操作过程可会 ...
- 安装Linux系统时卡在命令行了,从硬盘安装Linux和从Grub命令行启动操作系统
从硬盘安装Linux和从Grub命令行启动操作系统 发表于:2007-07-04来源:作者:点击数: 标签: 内容简介 ---------------------------------------- ...
- 安装Win7系统时使用diskpart命令将GPT分区转换为MBR分区
在第一次win8.1或者预装win10的机器改装win7,在安装时会提示找不到硬盘,可以通过使用diskpart命令转换硬盘分区来解决此问题(PE安装系统时操作不一定管用) 磁盘分区表转换操作会丢失硬 ...
- Hadoop(三)之实验一CentOS7配置Hadoop系统:安装 Hadoop3.1.2
文章目录 6.安装 Hadoop3.1.2 (1)修改配置文件 core-site.xml (2)修改配置文件 hdfs-site.xml (3)修改配置文件 mapred-site.xml (4)修 ...
- Hadoop(一)之实验一CentOS7配置Hadoop系统:配置CentOS和下载安装包
文章目录 一.Vmware 二.创建虚拟机 1.安装centos7 2.配置静态IP.修改主机名 3.将刚刚的c0虚拟机克隆三台出来 4.在四台机子上设置hosts,一下以c0为例 5.配置 SSH ...
- 用Hadoop,还是不用Hadoop?
本文由 伯乐在线 - Lex Lian 翻译. 英文出处:Anand Krishnaswamy.欢迎加入翻译小组. Hadoop通常被认定是能够帮助你解决所有问题的唯一方案. 当人们提到"大 ...
- [转]用Hadoop,还是不用Hadoop?
Hadoop通常被认定是能够帮助你解决所有问题的唯一方案. 当人们提到"大数据"或是"数据分析"等相关问题的时候,会听到脱口而出的回答:Hadoop!实际上Ha ...
最新文章
- 今天这个日子,大多数人都不知道…
- mvc4 html.beginform,MVC4 Html.BeginForm在Internet Explorer中提交按钮 9不工
- Ubuntu 中改变文件的默认打开方式(转)
- 华为matebook14会不会用鸿蒙,2020年用什么笔记本上网课?浅析华为MateBook 14 2020款...
- [高中作文赏析]渴望从前
- MATLAB----数据拟合
- 《软件开发的形式化方法-古天龙》笔记(1)
- 微信小程序(翻译小助手)项目实战
- 利用Echarts+百度地图API绘制可交互的行政区划地图(2021)
- 【unity 】第一人称角色控制器手机虚拟双摇杆
- 洛谷P1540机器翻译
- win10系统升级后mysql找不到服务及数据消失问题
- 价格行为交易策略:锤子十字线,Fakey,内部日烛线
- 【FPGA_001】用Verilog写一个数组,会耗费很多资源
- 进行ui设计培训学费是多少
- 文件上传、下载、导出(图片上传、下载)
- 《数据结构》八大排序(详细图文分析讲解)
- C++工程编译链接错误汇总VisualStudio
- 合计mysql php,php – mySQL中的条件求和?
- 离散数学·集合论【自然数和基数】