Mac下安装Hadoop
文章目录
- 01 引言
- 02 配置ssh环境
- 02 安装与配置Hadoop
- 03 启动Hadoop并验证
- 3.1 启动Hadoop
- 3.2 启动yarn服务
- 04 Hadoop sbin下的命令
01 引言
如果想在Mac下安装Hadoop而且让Hadoop能正常运行,那安装之前需要先安装java
,具体可以参考之前写的博客《Mac下安装JDK11(国内镜像)》。
好了,现在开始讲解如何在Mac
环境下安装Hadoop
。
02 配置ssh环境
在Mac
下如果想使用Hadoop
,必须要配置ssh
环境, 如果不执行这一步,后面启动hadoop
时会出现Connection refused
连接被拒绝的错误。
首先终端命令框输入:
ssh localhost
如果提示错误:
表示当前用户没有权限,更改设置如下:进入系统偏好设置
--> 共享
--> 勾选远程登录
->勾选所有用户
,如下图:
再次输入ssh localhost
会提示输入密码,这个时候要重新配置一下ssh
免密登录。
① 进入ssh
的目录:
cd ~/.ssh
② 将id_rsa.pub
中的内容拷贝到 authorized_keys
中:
cat id_rsa.pub >> authorized_keys
操作成功:
02 安装与配置Hadoop
① 使用brew
命令安装(这里没有指定版本,安装的是最新版的hadoop
):
brew install hadoop
② 查看是否安装成功:
hadoop version
如果显示如下界面,表示安装成功,可以看到版本号为3.3.1:
③ 进入hadoop
的目录:
cd /usr/local/Cellar/hadoop/3.3.1/libexec/etc/hadoop
④ 修改core-site.xml
:
<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:8020</value></property><!--用来指定hadoop运行时产生文件的存放目录 自己创建--><property><name>hadoop.tmp.dir</name><value>file:/usr/local/Cellar/hadoop/tmp</value></property>
</configuration>
⑤ 修改hdfs-site.xml
,配置namenode
和datanode
:
<configuration><property><name>dfs.replication</name><value>1</value></property><!--不是root用户也可以写文件到hdfs--><property><name>dfs.permissions</name><value>false</value> <!--关闭防火墙--></property><!--把路径换成本地的name坐在位置--><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/Cellar/hadoop/tmp/dfs/name</value></property><!--在本地新建一个存放hadoop数据的文件夹,然后将路径在这里配置一下--><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/Cellar/hadoop/tmp/dfs/data</value></property>
</configuration>
⑥ 修改 mapred-site.xml
:
<configuration><property><!--指定mapreduce运行在yarn上--><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapred.job.tracker</name><value>localhost:9010</value></property><!-- 新添加 --><!-- 下面的路径就是你hadoop distribution directory --><property><name>yarn.app.mapreduce.am.env</name><value>HADOOP_MAPRED_HOME=/usr/local/Cellar/hadoop/3.3.1/libexec</value></property><property><name>mapreduce.map.env</name><value>HADOOP_MAPRED_HOME=/usr/local/Cellar/hadoop/3.3.1/libexec</value></property><property><name>mapreduce.reduce.env</name><value>HADOOP_MAPRED_HOME=/usr/local/Cellar/hadoop/3.3.1/libexec</value>
</property></configuration>
⑦ 修改yarn-site.xml
:
<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.address</name><value>localhost:9000</value></property> <property><name>yarn.scheduler.capacity.maximum-am-resource-percent</name><value>100</value></property>
</configuration>
03 启动Hadoop并验证
3.1 启动Hadoop
① 启动hadoop
:
cd /usr/local/Cellar/hadoop/3.3.1/libexec/sbin
./start-dfs.sh
② 浏览器中输入http://localhost:9870/,出现以下界面就说明成功了:
如果打不开这个web
页面,而且又启动了,需要在hadoop
下/etc/hadoop/hadoop-env.sh
文件下第52行后面添加下方配置:
cd /usr/local/Cellar/hadoop/3.3.1/libexec/etc
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"
③ 可以停止服务hadoop服务:
./stop-yarn.sh
3.2 启动yarn服务
① 启动yarn服务:
cd /usr/local/Cellar/hadoop/3.3.1/libexec/sbin
./stop-dfs.sh
② 浏览器中打开http://localhost:8088/就会出现下图的界面:
③ 可以停止服务yarn服务:
./stop-yarn.sh
04 Hadoop sbin下的命令
1.启动所有的Hadoop
守护进程(包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager
):
sbin/start-all.sh
2.停止所有的Hadoop
守护进程(包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager
):
sbin/stop-all.sh
3.启动Hadoop HDFS
守护进程NameNode、SecondaryNameNode、DataNode
sbin/start-dfs.sh
4.停止Hadoop HDFS
守护进程NameNode、SecondaryNameNode
和DataNode
:
sbin/stop-dfs.sh
5.单独启动NameNode
守护进程
sbin/hadoop-daemons.sh start namenode
6.单独停止NameNode
守护进程
sbin/hadoop-daemons.sh stop namenode
7.单独启动DataNode
守护进程
sbin/hadoop-daemons.sh start datanode
8.单独停止DataNode
守护进程
sbin/hadoop-daemons.sh stop datanode
9.单独启动SecondaryNameNode
守护进程:
sbin/hadoop-daemons.sh start secondarynamenode
10.单独停止SecondaryNameNode
守护进程
sbin/hadoop-daemons.sh stop secondarynamenode
11.启动ResourceManager、NodeManager
sbin/start-yarn.sh
12.停止ResourceManager、NodeManager
sbin/stop-yarn.sh
13.单独启动ResourceManager
sbin/yarn-daemon.sh start resourcemanager
14.单独启动NodeManager
sbin/yarn-daemons.sh start nodemanager
15.单独停止ResourceManager
sbin/yarn-daemon.sh stop resourcemanager
16.单独停止NodeManager
sbin/yarn-daemons.sh stopnodemanager
17.手动启动jobhistory
sbin/mr-jobhistory-daemon.sh start historyserver
18.手动停止jobhistory
sbin/mr-jobhistory-daemon.sh stop historyserver
Mac下安装Hadoop相关推荐
- Mac下安装hive
文章目录 01 引言 02 Hive安装 03 配置hive元数据库 04 验证与运行hive 4.1 运行前准备 4.2 验证与运行 01 引言 hive本身是没有存储功能的,数据是存储在hadoo ...
- mac下安装python3
mac下安装python3 1.先用brew search命令查看 brew search python3 结果如下所示: ==> Formulae boost-python3 python3 ...
- 在Mac上安装Hadoop HA 高可
**Mac安装Hadoop HA高可 在Mac上安装Hadoop HA 高可用 配置环境: HA & Federation介绍 Hadoop 1.x与Hadoop 2.x Hadoop 2.x ...
- Mac 下安装 ruby 环境解决 brew 安装 yarn 问题
Mac 下安装 ruby 环境解决 brew 安装 yarn 问题 参考文章: (1)Mac 下安装 ruby 环境解决 brew 安装 yarn 问题 (2)https://www.cnblogs. ...
- 在Mac下安装使用OpenCV
教导大家如何在Mac下安装使用OpenCV, 包括使用编译器,Xcode,和Eclipse的开发方法 系统环境:ML10.7.5 cmake版本:2.8.10 XCode版本:4.5.1 Open ...
- Mac下安装Mysql以及修改Mysql密码
1.安装Mysql 安装有2种办法,一种是下载mysql安装文件,慢慢安装,另一种就是下载xmpp,里面自带mysql,就像是安装普通的mac软件一样,安装完毕,就有了mysql了. 方法一,官网下载 ...
- brew install php55redis,Mac下安装LNMP环境
Mac下搭建lamp开发环境很容易,有xampp和mamp现成的集成环境.但是集成环境对于经常需要自定义一些配置的开发者来说会非常麻烦,而且Mac本身自带apache和php,在brew的帮助下非常容 ...
- mac下安装redis
mac下安装redis redis的介绍这里就不多说了下面就直奔主题. 一 redis安装 首先,redis的默认端口为6379 下载mac版redis安装包,下载地址https://redis.io ...
- 在MAC下安装一些软件时提示来自身份不明开发者
在MAC下安装一些软件时提示"来自身份不明开发者",其实这是MAC新系统启用了新的安全机制. 默认只信任 Mac App Store 下载的软件和拥有开发者 ID 签名的应用程序. ...
最新文章
- 情侣必做的100件小事,提升幸福感,快收藏
- Bag of Tricks for Efficient Text Classification论文阅读及实战
- 三分钟带你对 Softmax 划重点
- IPFS网络是如何运行的(p2p网络)
- 用 Unity 探究 2D 游戏的打击感
- python 服务端框架_GitHub - edisonlz/fastor: Python服务端开发框架-极易上手,超出你的想象!...
- java抽象类和模板模式_测试抽象类和模板方法模式
- cgcs2000大地坐标系地图_为什么要从北京54和西安80统一到CGCS2000?测绘人必知!...
- 聊一聊 java8 中的 Optional
- 计算机刷bios版本,华硕主板怎么刷BIOS版本?华硕主板在线升级BIOS详细图文教程...
- 黑php的称呼,“黑”起母校都是把好手!这些高校别称你绝对想不到
- ASP.NET使用WPS WORD转PDF
- matlab对语音信号预加重处理,语音信号的预加重处理和加窗处理 | 学步园
- java 随机生成姓名_生成随机中文姓名java程序.pdf
- c# 指定打开某个路径下的CMD_C# 插入、删除Excel分页符
- 年后跳槽全过程总结(上)——从面试准备到拿到offer
- anaconda企业版下载_Anaconda免费版下载-多功能Python集成开发环境 v2020.02 免费版 - 安下载...
- CWE-416: Use After Free(释放后使用)
- NMS、Soft-NMS、Softer-NMS
- 知学云Classcool 教育产品分析报告