一、服务器

操作系统：CentOS Linux release 7.6.1810 (Core)

二、JAVA

JDK1.8：oraclce官网下载jdk-8u261-linux-x64.tar.gz
命令行环境：配置/etc/profile命令行环境

export JAVA_HOME=/usr/local/java/jdk1.8.0_261
export PATH=$JAVA_HOME/bin:$PATH

三、HDFS

下载hadoop安装包，这里我下载的是hadoop2.10版本，https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.10.0/hadoop-2.10.0.tar.gz

我们将使用用户hadoop来运行HDFS

新增hadoop用户

useradd hadoop

配置hadoop的shell环境

vi /home/hadoop/.bashrc

export JAVA_HOME=/usr/local/java/jdk1.8.0_261
export HADOOP_HOME=/home/hadoop/bigdata/hadoop
export HADOOP_USER_NAME=hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

ssh无密码登录配置

  $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys$ chmod 0600 ~/.ssh/authorized_keys

配置好之后通过"ssh localhost"的方式确认可以不输入密码自动登录

ssh localhost

配置core-site.xml 和 hdfs-site.xml

core-site.xml:

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost</value></property>
</configuration>

hdfs-site.xml

<configuration><property><name>dfs.replication</name><value>1</value></property>
</configuration>

启动HDFS

bin/hdfs namenode -format#格式化文件系统

sbin/start-dfs.sh#启动名称节点和数据节点

通过jps命令查看java的进程，应该有三个，分别对应NameNode, SecondaryNameNode, DataNode。

访问web网页查看名称节点状态，这里需要注意如果是hadoop2的话端口是50070，如果是hadoop3的话端口是9870，我下载的是hadoop2，所以端口是50070。

停止HDFS

sbin/stop-dfs.sh

参考

https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html#Standalone_Operation
https://blog.csdn.net/xuexueloveair/article/details/90300603

大数据 - HDFS单机环境搭建（一）相关推荐

大数据----2.基础环境搭建
大数据hadoop环境搭建一.linux环境搭建 1.linux环境 1.hadoop是运行在linux系统之上: 但是也有windows版本的hadoop: 学习的时候使用linux来进行学习: ...
大数据实战之环境搭建(七)
本节我给大家测试一下Linux环境的Solr,通过增删改查的实例demo看看Solr环境是否已经OK.记得有哥们留言,问到只看见Solr和Cassandra的单独环境搭建,却不见它们的协同.我想说这两 ...
大数据实战之环境搭建(十)
Html5, 云计算,移动互联网,大数据你知道多少,如果不知道多少,请抓紧时间学习. 今天要说的是消息队列ActiveMQ,这个和cassandra一样也是apache的产品,开源的,支持很多客户端, ...
大数据实战之环境搭建(三)
今天不小心下载了一个VMPLayer和CenterOS-5.所以我决定后面的demo全部使用linux作为大数据的载体来进行讲解.今天主要就是讲一下CenterOS的安装准备我们安装好VMPlaye ...
大数据-Hadoop（环境搭建）
1 虚拟机环境准备 1.1准备三台虚拟机,虚拟机配置要求如下: (1)单台虚拟机:内存4G,硬盘50G,安装必要环境 sudo yum install -y epel-release sudo yum ...
大数据实战之环境搭建(八)
由于本人机器有限,只有虚拟机的centOS和windows7操作系统,所以这次我们就以这两台机器作为搭建Cassandra集群的节点. 首先我们将Cassandra解压包拷贝至linux系统的usr下 ...
大数据之-Hadoop环境搭建_hadoop官网手册---大数据之hadoop工作笔记0020
本地运行模式,和伪分布式模式是,在测试学习的时候用,然后完全分布式模式是真正开发中要用的, 要配置hadoop的集群,至少要3个虚拟机,加上自己的电脑,4台,每个虚拟机要分配2G内存,至少,所以内存 ...
大数据之-Hadoop环境搭建_hadoop目录结构---大数据之hadoop工作笔记0019
前面我们安装配置好了hadoop以后, 现在我们进入这个hadoop-2.7.2这个目录,看看他的目录结构首先我们先进入bin这个目录,可以看到有个hadoop hadoop,管理hadoop集群的 ...
大数据之-Hadoop环境搭建_安装hadoop---大数据之hadoop工作笔记0018
然后我们上一节安装了jdk的环境,现在我们来安装hadoop, 首先,我们上面可以看到java -version jdk已经安装好了然后我们进入opt/software这个文件夹可以看到有hado ...

大数据 - HDFS单机环境搭建（一）

一、服务器

二、JAVA

三、HDFS

参考

大数据 - HDFS单机环境搭建（一）相关推荐

最新文章

热门文章