hadoop 单机伪分布式安装步骤

文章目录

1. 安装 Java
2. 配置SSH无密码登录
3. 下载 hadoop
4. 配置环境变量
5. 报错处理参考

环境 Centos7
参考：
https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

https://blog.csdn.net/bingduanlbd/article/details/51874195

1. 安装 Java

注意版本要求：
https://cwiki.apache.org/confluence/display/HADOOP/Hadoop+Java+Versions

Java 安装：https://michael.blog.csdn.net/article/details/114012236

2. 配置SSH无密码登录

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
ssh localhost

第一条输入后，一直回车，无密码

3. 下载 hadoop

下载地址：https://hadoop.apache.org/releases.html，选择 binary downloads
解压到路径，我的是 /opt/hadoop-3.3.0/

tar -zxvf 包名

4. 配置环境变量

vim ~/.bashrc

贴下我的内容：

export PATH="~/anaconda3/bin:$PATH"export JAVA_HOME=/opt/jdk1.8.0_281/
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATHexport HADOOP_HOME=/opt/hadoop-3.3.0/
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/binexport PATH=$PATH:/home/dnn/pycharm-2020.2.3/bin
export PATH=${PATH}:${HADOOP_HOME}/bin
export PATH=${PATH}:${JAVA_HOME}/bin
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
#export HADOOP_ROOT_LOGGER=DEBUG,console
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native

source ~/.bashrc

cd /opt/hadoop-3.3.0/，进入hadoop解压目录
接下来按照官网的操作 Pseudo-Distributed Operation（伪分布式）

5. 报错处理参考

ERROR: Attempting to operate on hdfs namenode as root，上面已经在bashrc添加过了
https://blog.csdn.net/weixin_49736959/article/details/108897129
exitCode=255，注意 hostname 不能有下划线，hostnamectl set-hostname ***，reboot重启
https://blog.csdn.net/wshl1234567/article/details/98346583
https://blog.csdn.net/ntuxiaolei/article/details/81130866
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native，上面已经在bashrc添加过了
https://blog.csdn.net/qq_41541801/article/details/82413776
bin/hadoop fs -mkdir /user/root，bin/hadoop fs -mkdir /user/root/input，
https://blog.csdn.net/itworkermk/article/details/52352909
在以下这步之前运行上面命令

hadoop 单机伪分布式安装步骤相关推荐

Hadoop单机伪分布式安装(完整版)
在学习Hadoop时,我发现网上的各种安装的资料要不不全,要不前后不匹配(比如有的是伪分布式,有的是完全分布式).此篇文章,我总结了身边的同学在安装Hadoop时遇到的毛病,在前面安装配置环节,尽可能 ...
Hadoop单机伪分布式安装详解
文章目录写在开头的话前提环境准备配置JAVA环境将jdk安装包传输至你的Linux宿主机中操作jdk安装包,然后配置java环境配置ssh免密登录安装Hadoop,及其hadoop配置 ...
linux hadoop namenode_HADOOP_HDFS伪分布式安装步骤
1.网络配置好,关闭iptables防火墙,关闭selinux 2.jdk1.7.0_80 hadoop-2.6.5.tar.gz 上传这两个包 3.安装jdk rpm -ivh jdk-7u80-l ...
Hadoop单机/伪分布式集群搭建（新手向）
此文已由作者朱笑笑授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. 本文主要参照官网的安装步骤实现了Hadoop伪分布式集群的搭建,希望能够为初识Hadoop的小伙伴带来借鉴意 ...
【Hadoop】伪分布式安装---MapReduce程序运行到YARN上，编写MapReduce程序---HDFS yarn
在我的虚拟机(Linux)上安装的Hadoop是2.7.3版本的,安装过程可以参考这个网站,也可以下载. http://hadoop.apache.org/docs/r2.7.6/hadoop-pro ...
CentOS hadoop 伪分布式安装步骤
如果 hadoop 对应的 java进程运行在一个物理机器中,我们将之称为伪分布,如果它运行在多台物理机器中,就称其为分布式. 环境的准备设置ip地址采用host only网络连接方式,桌面右键网 ...
Windows上安装HADOOP单机伪分布式集群
2019独角兽企业重金招聘Python工程师标准>>> 1.准备HADOOP运行环境下载解压并拷贝到Cygwin的用户主目录 http://archive.apache.org/d ...
linux centos/debian下hadoop2.6.5单机伪分布式安装
官方文档 hadoop2.6.5官方安装文档配置/etc/hosts 增加节点名称node01 修改hdp配置文件 cd /opt/hadoop-2.6.5/etc/hadoop 第一个:hadoo ...
Hadoop的伪分布式安装
===================主机环境配置开始=============================== step1:安装VMware Workstation Pro step2:安装Ct ...