配置ssh免密登录

mac下开启远程登录

系统偏好设置 -> 共享 -> 远程登录

授权免密登录

# 生成秘钥（如果没有）
ssh-keygen -t rsa -P ''# 授权免密登录
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys# 免密登录
ssh lcoalhost

安装hadoop

brew install hadoop

配置

# 查看hadoop路径
brew info hadoop# 查看java路径
which java

进入配置文件路径
/usr/local/Cellar/hadoop/3.1.1/libexec/etc/hadoop

1、配置JAVA环境
hadoop-env.sh

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="
export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_172.jdk/Contents/Home"

2、配置hdfs地址和端口
core-site.xml

<configuration><property><name>hadoop.tmp.dir</name>
<value>/usr/local/Cellar/hadoop/hdfs/tmp</value></property><property><name>fs.default.name</name><value>hdfs://localhost:8020</value></property>
</configuration>

3、配置jobtracker的地址和端口
mapred-site.xml

<configuration><property><name>mapred.job.tracker</name><value>localhost:8021</value></property>
</configuration>

4、修改hdfs备份数
hdfs-site.xml

<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.name.dir</name><value>/usr/local/Cellar/hadoop/hdfs/name</value></property><property><name>dfs.data.dir</name><value>/usr/local/Cellar/hadoop/hdfs/data</value></property><property><name>dfs.http.address</name><value>localhost:50070</value></property>
</configuration>

添加环境变量
vim ~/.bash_profile

export HADOOP_HOME=/usr/local/Cellar/hadoop/3.1.1
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

生效

source ~/.bash_profile

格式化hdfs

hdfs namenode -format

启动关闭

start-dfs.sh
stop-dfs.shstart-yarn.sh
stop-yarn.sh

hadoop http://localhost:50070
yarn http://localhost:8088

查看文件

hdfs dfs -ls  /

指令没反应加个sudo

参考

mac下Hadoop、HDFS、Spark环境的安装和搭建

mac关于Hadoop安装

Hadoop setup 一些问题及解决

HDFS_NAMENODE_USER, HDFS_DATANODE_USER & HDFS_SECONDARYNAMENODE_USER not defined

Mac环境下安装hadoop相关推荐

Mac环境下安装Pod
Mac 环境下安装Pod Pod安装需要ruby,ruby需要rvm 可以终端中查看rvm 安装没有如果没有安装则按以下步骤安装 rvm安装 $ curl -L https://get.rvm.io ...
linux安装powerline字体,Mac环境下安装powerline的方式
什么是powerline 如果你不是通过搜索引擎搜到这篇文章的话,也许你还没有听说过powerline.而你又恰巧是个*UNIX党,或者VIM党的话,那么强烈建议你了解并使用powerline.pow ...
mac环境下安装Gradle及配置
前言从Gradle官网的安装指导可以知道, (最新的gradle版本)要求jdk的版本是1.8, 或者更高. Prerequisites Gradle runs on all major ope ...
mac环境下安装mysql
一,下载mysql 官网"Community " 下会看到"MySQL Community Server"下方有一个"download"点击 ...
Mac环境下安装MongoDB数据库
一.下载安装 1.1 下载MongoDB 首先,从MongoDB官网下载自己想要使用的版本. 解压缩下载的压缩包重命名为mongodb,将mongodb文件夹复制到/usr/local目录下. bre ...
Mac环境下安装Sass
步骤一:安装ruby (1)安装 RVM 命令行窗口依次运行以下命令 ①安装: $curl -L https://get.rvm.io | bash -s stable ②载入rvm环境: $sour ...
mac环境下安装drozer
drozer 是一款针对 Android 系统的安全测试框架. 下载drozer 进入官网:https://labs.f-secure.com/tools/drozer/ 选择drozer(Pytho ...
解决-bash: rvm: command not found提示，在mac环境下安装离线安装rvm
在github下载rvm, 下载地址为 git clone https://github.com/rvm/rvm.git 如上图下载完成后,接着,双击打开 /bin/rvm-installer 出现上 ...
mac环境下安装python3
一.查看当前mac上的python版本 -首先打开终端 1.打开后输入python3确定电脑上是否已安装python3,如果输入python是查看mac上的自带版本命令:python3[直接回车] ...

Mac环境下安装hadoop

配置ssh免密登录

安装hadoop

Mac环境下安装hadoop相关推荐

最新文章

热门文章