1、参考链接汇总

macOS Hadoop 3.1.0的安装及简单使用 https://www.jianshu.com/p/2c3b04ac498d
mac下编译hadoop3.0.*版本的native lib https://blog.csdn.net/qq_14811559/article/details/80308434
protobuf-2.5.0.tar.gz的下载与安装 https://blog.csdn.net/will5451/article/details/62885105
下载Hadoop3.2.1源码 https://github.com/apache/hadoop/archive/branch-3.2.1.zip
mac 下编译hadoop3.1.2 https://blog.csdn.net/u011666720/article/details/99674659
Mac下SSH免密登录localhost https://blog.csdn.net/tianqishu11/article/details/78787721
执行ssh-add时报错Could not open a connection to your authentication agent https://blog.csdn.net/Dior_wjy/article/details/79035214

2、踩坑

hadoop启动报错：Unable to load native-hadoop library for your platform

// 参考链接，采用编译源码的方式
https://blog.csdn.net/u011666720/article/details/99674659
// 修改配置文件 hadoop-env.sh
export HADOOP_OPTS="-Djava.library.path=/usr/local/Cellar/hadoop/3.2.1_1/lib/native"

hadoop-hdfs-native-client 源码编译时失败

// 注释 hadoop-branch-3.2.1/hadoop-hdfs-project/pom.xml 文件中以下代码，重新编译
<module>hadoop-hdfs-native-client</module>

源码编译命令

mvn clean && mvn package -Pdist,native -DskipTests -Dtar

Apache Hadoop Pipes 源码编译时失败

sudo vim ~/.bash_profile
// 加入以下代码
export OPENSSL_ROOT_DIR=/usr/local/Cellar/openssl/1.0.2t
export OPENSSL_INCLUDE_DIR=/usr/local/Cellar/openssl/1.0.2t/include
source ~/.bash_profile  // 重新载入配置文件，使其立即生效

mac ssh免密登陆localhost，否则hadoop启动报错Permission denied (publickey,password,keyboard-interactive).

// 执行
ssh-add
// 报错 Could not open a connection to your authentication agent.
// 继续执行
eval `ssh-agent`
ssh-add ~/.ssh/id_rsa
// 输入密码后提示 Identity added: /Users/xiaoanna/.ssh/id_rsa (xiaoanna@mafengwo.com) 成功！
ssh localhost
// 每次重新登录后需再次ssh-add，所以ssh-add后直接进入hadoop目录，执行
./sbin/start-dfs.sh

启动结果如下

➜  3.2.1_1 ./sbin/start-dfs.sh
Starting namenodes on [localhost]
Starting datanodes
Starting secondary namenodes [xiaoannadeMacBook-Pro.local]
➜  3.2.1_1 ./sbin/start-yarn.sh
Starting resourcemanager
Starting nodemanagers
➜  3.2.1_1 jps
65331 DataNode
65462 SecondaryNameNode
59542
65869 ResourceManager
65965 NodeManager
65230 NameNode
351 Elasticsearch
66078 Jps

Mac OS下搭建Hadoop3.2.1相关推荐

基于Mac OS系统搭建51单片机开发环境
基于Mac OS系统搭建51单片机开发环境 Reason 本人是杭电计科学生,参加的智能小车队伍平时需要大量基于单片机的操作,目前使用的是MBP(冤种mac),网上大多又是基于Windows系统等开发 ...
mac os下valgrind的安装
valgrind是一款性能分析工具,功能强大. 在mac os下的安装略有不同,特写此文以记之. 现在最新的版本是3.8.1 tar jxvf valgrind-3.8.1.tar.bz2 cd va ...
如何在Mac环境下搭建svn服务器端环境
为什么80%的码农都做不了架构师?>>> 在Windows环境中,我们一般使用TortoiseSVN来搭建svn环境.在Mac环境下,由于Mac自带了svn的服务器端和客户端功 ...
cp linux 显示进度条_Unix/Linux/Mac os下文件互传
Unix/Linux/Mac os下文件互传说起文件互传,就不得不提命令scp. 他是Secure copy的缩写,使用ssh连接和加密方式, 如果两台机器之间配置了ssh免密登录, 那在使用sc ...
在MAC OS 下配置python + Flask ,并支持pyCharm编辑器
https://www.cnblogs.com/lgphp/p/3841098.html 在MAC OS 下配置python + Flask ,并支持pyCharm编辑器 flask是一个micro ...
Mac OS下Tomcat native-APR的安装
Mac OS下Tomcat native-APR的安装 1. 下载并编译APR 下载APR 在终端编译APR cd /<your_apr_dir>/aprCFLAGS='-arch x86 ...
Mac os 下的文件权限管理
Mac os 下的文件权限管理命令 ls -l -A 结果 -rw-r--r-- 1 user admin 2326156 4 12 15:24 adb 横线代表空许可.r代表只读,w代表写,x代表 ...
Mac OS 下的Vim使用系统剪切板
[size=12]这里介绍的是Mac OS下终端Vim,Mac Vim并没有测试. [color=red] 下面的解决方法太麻烦了,直接装一个新的Vim直接搞定. macos的预装的终端Vim有个很麻 ...
MAC OS 下QQ音乐下载存放的位置
MAC OS 下QQ音乐下载存放的位置 /Users/用户/Library/Application Support/

Mac OS下搭建Hadoop3.2.1

1、参考链接汇总

2、踩坑

Mac OS下搭建Hadoop3.2.1相关推荐

最新文章

热门文章