配置Java环境

JDK安装

# tar -zxvf xxxx.tar.gc -C ~/app
# 环境变量
# vim ~/.bash_profile

编辑内容

 export JAVA_HOME=/home/hadoop/app/jdk路径export PATH=$JAVA_HOME/bin:$PATH

**使其生效

# source ~/.bash_profile
# java -version

SSH 安装

centos环境：

# sudo yum install ssh

配置免密登录：方便DN NN

# ssh-keygen -t rsa

查看隐藏文件 : ls -la(-a 标识全显示，包括隐藏)
将生成的文件进行复制

# cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

Hadoop安装

这里提供下载地址，和官方说明文档，一些配置可以直接进行cp，这里使用的是cdh版的，后续文章会讲解hadoop各个版本的介绍和选择。
http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html
http://archive.cloudera.com/cdh5/cdh/5/ - hadoop-2.6.0-cdh5.7.0
http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz

下载好之后进行解压：

# tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz

解压后查看是否成功：

# ./bin/hadoop version

配置环境变量（就是方便）

# vim ~/.bash_profile
//编辑文件内容为：export HADOOP_HOME=/usr/local/Hadoop/hadoop-2.6.0-cdh5.7.0export PATH=$HADOOP_HOME/bin:$PATH
//生效环境：
# source ~/.bash_profile
//验证 ：
# echo $HADOOP_HOME

配置文件：

注意这里localhost好像有问题，我实际用的阿里云环境，使用的是hostname，如何设置查看百度

位置： hadoop_home/etc/hadoop
在hadoop-env.sh配置JAVA_HOME

core-site.xml:

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property><property><name>hadoop.tmp.dir</name><value>/home/hadoop/app/tmp</value></property>
</configuration>

设置临时目录，如果不设置的话，最开始数据存储在临时目录，机器重启可能就消失

hdfs-site.xml:(副本系数为1，单节点）

<configuration><property><name>dfs.replication</name><value>1</value></property>
</configuration>

slave DN 写在这里面，这里就写hostname

启动HDFS

格式化文件系统（仅第一次执行，不要重复执行）：

# bin/hdfs namenode -format

启动

# sbin/start-dfs.sh

jps查看

查看日志：

通过浏览器：
ip:50070

问题点：

1 - core-site.xml:配置文件只有一个标签

2 - ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.
org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /home/hadoop/app/tmp/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible : 提示某个文件不存在，进入对应目录进行创建即可

3 - ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.
java.io.IOException: NameNode is not formatted ：重新进行格式化 bin/hdfs namenode -format

（遇到问题去查看对应日志文件，查找问题点）

停止：

# sbin/stop -dfs.sh

后续会更新如何操作HDFS， Hadoop简介，如果有什么我问题，进行留言，我进行改进

阿里云搭建单机Hadoop之HDFS相关推荐

基于阿里云搭建hadoop平台
文章目录 1. 前言 2. 添加hadoop用户 3. 配置/etc/hosts文件 4. 设置ssh免密登录 4.1 安装ssh 4.2 设置免密 5. 安装JDK 6. 安装hadoop 7. 配 ...
阿里云搭建完全分布式
阿里云搭建完全分布式文章目录阿里云搭建完全分布式 1. 三台改主机名 2.三台修改hosts文件 ping不通 4. 配置 ssh 免密登录 4.1 在 master 生成公钥 4.2 将 pub ...
基于阿里云搭建的适合初创企业的轻量级架构--架构总结
----基于阿里云搭建的适合初创企业的轻量级架构前言在项目的初期往往存在很多变数,业务逻辑时刻在变,而且还要保证快速及时,所以,一个灵活多变.快速部署.持续集成并可以适应多种情况的架构便显得尤为重 ...
如何基于阿里云搭建适合初创企业的轻量级架构？
----基于阿里云搭建的适合初创企业的轻量级架构前言在项目的初期往往存在很多变数,业务逻辑时刻在变,而且还要保证快速及时,所以,一个灵活多变.快速部署.持续集成并可以适应多种情况的架构便显得尤为重 ...
Docker——阿里云搭建Docker Swarm集群
阿里云搭建Docker Swarm集群 Docker Swarm概念环境部署 Swarm集群搭建安装Docker 配置阿里云镜像加速搭建集群 Raft一致性算法 Swarm集群弹性创建服务(扩缩 ...
如何将项目发布到阿里云_尚硅谷基于阿里云搭建数据仓库（实时）项目视频发布...
11月,尚大发布了基于阿里云搭建数据仓库离线项目视频,不少爱学习的小伙伴表示,对实时项目视频翘首以盼,听了大海哥的课,腰不酸了,腿不疼了,一口气从头听到尾还不过瘾,沉迷于学习无法自拔-- 说曹操,大海 ...
阿里云搭建CDH集群配置邮箱告警
阿里云搭建CDH集群配置邮箱告警 1.阿里云默认禁止25端口号.申请阿里云开通 2.配置邮箱服务 3.cdh页面配置告警申请开通25端口号申请一个邮箱开通服务smtp服务记住授权码 cdh配置 ...
阿里云搭建Tomcat+Jdk+Mysql（阿里云系统CentOs）特完整
(本文太过潦草,特用Markdown重新排版了下:阿里云搭建Tomcat+Jdk+Mysql(阿里云系统CentOs)_李小白的博客的博客-CSDN博客) 1.首先我们应该先去百度云盘下载安装包资源: ...
阿里云搭建自己的anki服务器
阿里云搭建自己的anki服务器 @[Toc](阿里云搭建自己的anki服务器) 背景需要买一台云服务器云服务器远程登录一些准备工作关于操作系统的适应我踩的一些坑搭建过程打开端口输入命 ...

阿里云搭建单机Hadoop之HDFS

配置Java环境

SSH 安装

Hadoop安装

启动HDFS

阿里云搭建单机Hadoop之HDFS相关推荐

最新文章

热门文章