Hadoop开发环境的搭建与配置（基于Linux）
目录
一、部署环境安装说明
二、Hadoop安装
1、设置SSH免密登录
安装SUDO
安装SSH
然后修改权限：
接着需要启用RSA认证，启动公钥私钥配对认证方式vim /etc/ssh/sshd_config 如果提示权限不足在命令前加上sudo 修改ssh配置：
重启SSH
2.配置环境变量
3.配置Hadoop相关文件
hadoop-env.sh配置
hdfs-site.xml配置
4、创建相关文件夹
5、验证
一、部署环境安装说明
部署环境 Docker+Ubuntu18+jdk8
二、Hadoop安装
1.Hadoop下载
Hadoop可以从官网(Apache Hadoop) 下载。访问国外的链接网速较慢，我们改从清华大学开源软件镜像下载。 下载地址 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/hadoop-3.3.1.tar.gz
如果你要在自己的Linux系统中安装，那么还是需要下载的。我们可以选择以下两种方式之一下载：
- 先下载到Windows，然后从Windows中将文件传入到虚拟机中。
- 在Linux的终端下输入
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/hadoop-3.3.1.tar.gz下载。
2.解压Hadoop安装包
将目录转换到下载Hadoop的目录中，查看安装情况
解压Hadoop的压缩包到/usr/local目录下
tar -zxvf hadoop-3.3.1.tar.gz -C/usr/local名字过于复杂，不便于调用， 切换到/usr/local目录下修改Hadoop文件夹的名字：
mv Hadoop-3.3.1/ hadoop三、配置Hadoop安装环境
1、设置SSH免密登录
首先下载SSH，先更新软件包
sudo apt-get update安装SUDO
sudo apt-get install sudo安装SSH
sudo apt-get install openssh-server
# 或
sudo apt install openssh-server设置免密
ssh-keygen -t rsa -P ''生成无密码密钥对，询问保存路径直接输入回车，生成密钥对：id_rsa和id_rsa.pub，默认存储在~/.ssh目录下。 接下来：把id_rsa.pub追加到授权的key里面去。
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys然后修改权限：
chmod 600 ~/.ssh/authorized_keys接着需要启用RSA认证，启动公钥私钥配对认证方式
vim /etc/ssh/sshd_config 如果提示权限不足在命令前加上sudo 修改ssh配置：
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
AuthorizedKeysFile %h/.ssh/authorized_keys # 公钥文件路径重启SSH
service ssh restart2.配置环境变量
首先我们配置好Hadoop的环境变量，避免每次执行Hadoop命令的时候，都要输入一长串路径。
编辑环境变量
sudo vim /etc/profile在文件后面加上两行。
加完后，点击【Esc】，输入【:wq】保存并退出。
使环境变量生效
source /etc/profile然后执行
hadoop version看到以下提示 ，说明环境变量配置正确啦！
3.配置Hadoop相关文件
总共需要配置三个文件，分别是：
- hadoop-env.sh
- core-site.xml
- hdfs-site.xml
这三个文件位于$HADOOP_HOME/etc/profile目录下。$HADOOP_HOME指Hadoop的安装位置，按照此教程的话，该位置为/usr/local/Hadoop。执行
cd /usr/local/hadoop/etc/hadoop或者
cd $HADOOP_HOME/etc/hadoop切换到这三个文件的路径下。（上面两句命令意思相同，选其一即可）
切换到该目录下，然后进行环境配置。
hadoop-env.sh配置
hadoop-env.sh文件主要是配置JDK的位置。
如果忘记了JDK的位置，可以执行
echo $JAVA_HOME就可以看到
接下来正式进行文件配置。执行
vim hadoop-env.sh在文件首行插入如下代码：
export JAVA_HOME=/usr/lib/jdk/usr/lib/jdk是jdk存放的路径。如果你把jdk安装在其它位置，记得把/usr/lib/jdk替换为相应的路径。
core-site.xml配置
在相同的目录下，执行
vim core-site.xml在该文件末尾的configuration标签中，插入如下代码：
<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property><property><name>hadoop.tmp.dir</name><value>file:/data/hadoop/tmp</value><description>Abase for other temporary directories.</description></property>
</configuration>在上面的配置中，我们做了两项配置：
1、指定HDFS的URI是hdfs://localhost:9000。
2、设定Hadoop的临时文件存放在Linux文件系统中的/data/hadoop/tmp目录下。
hdfs-site.xml配置
在相同目录下，执行
vim hdfs-site.xml在该文件末尾的configuration标签中，插入如下代码：
<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/data/hadoop/hdfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/data/hadoop/hdfs/data</value></property>
</configuration>小tips：
1、replication指的是副本数量，我们现在是单节点，所以是1.
2、dfs.namenode.name.dir指定namenode节点存放数据的位置。
3、dfs.datanode.data.dir指定datanode节点存放数据的位置。
4、创建相关文件夹
在刚刚的配置文件中，配置了一些文件夹路径，但是还没创建它，现在来创建一下。
在/data/hadoop/目录下建立这些目录，执行以下代码：
mkdir /data
mkdir /data/hadoop
mkdir /data/hadoop/tmp
mkdir /data/hadoop/hdfs
mkdir /data/hadoop/hdfs/data
mkdir /data/hadoop/hdfs/name全部执行完且成功后，文件夹情况如图：
5、验证
现在，配置工作已经基本完成，接下来进行一些验证工作。主要三步：
- 格式化HDFS文件
- 启动hadoop
- 验证hadoop
1.格式化
在使用Hadoop之前我们需要格式化一些hadoop的基本信息。 使用如下命令：
hadoop namenode -format出现如下界面代表成功：
2.启动Hadoop
接下来我们启动Hadoop：
start-dfs.sh此时界面会出现几行EEROR:
这是因为root用户现在还不能启动hadoop，我们来设置一下就可以了。执行
cd $HADOOP_HOME/sbin
在start-dfs.sh，stop-dfs.sh两个文件顶部添加以下参数
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root如下图所示：
再次执行start-dfs.sh 输入命令 jps 验证,出现如下界面代表启动成功：
之后如果你是图形化界面，可以在你虚拟机的图形化界面中打开火狐浏览器输入：http://localhost:9870/ 或者在windows机器上输入http://虚拟机ip地址:9870/ 也可以访问 hadoop的管理页面
好了到了这一步Hadoop就安装完成了。
Hadoop开发环境的搭建与配置（基于Linux）相关推荐
- Spark开发环境的搭建与配置（基于Linux）
目录 一.部署环境安装说明 二.Spark安装 1.Spark下载 2.解压Spark安装包 3.配置环境 4.安装scala(scala要在同一目录下) 一.部署环境安装说明 部署环境VMware+ ...
- 在idea上配置hadoop开发环境，使用maven配置hadoop的依赖，自动管理相关jar包
使用maven可以很方便的管理我们项目的依赖,不需要手动去加载项目依赖的ja包,也方便项目的迁移,所以我选择使用 maven 来管理hadoop的开发环境的jar包. maven官网 JDK版本的要求 ...
- JAVA开发环境的搭建（配置JAVA开发环境）
1:想要学习Java第一步就是搭建Java环境,就是安装JDK,又因为JDK里面包含JRE,所以在安装JDK的过程中就安装了JRE,所以以下只是给出了JDK的安装包,自行下载安装即可 http://w ...
- java搭建环境配置_JAVA开发环境的搭建（配置JAVA开发环境）
1:想要学习Java第一步就是搭建Java环境,就是安装JDK,又因为JDK里面包含JRE,所以在安装JDK的过程中就安装了JRE,所以以下只是给出了JDK的安装包,自行下载安装即可 http://w ...
- java开发环境的搭建及配置
文章目录 JDK简介 安装 如何下载JDK? 如何安装JDK? 如何判断自己安装jdk是不是安装成功了呢? 如何查看java和javac的版本? java.exe和javac.exe程序到底是干什么的 ...
- web环境的搭建与配置
实验五 web 开发环境的搭建与配置 预习报告 一.实验目的 正确表述Web服务器和Web应用的工作原理: 能够在Linux环境下搭建基于Nginx.PHP和MySQL的Web开发环境: 综合运用Li ...
- Hadoop完全分布式搭建过程、maven和eclipse配置hadoop开发环境、配置Map/Reduce Locations、简单wordcount测试!
Hadoop完全分布式搭建及测试 项目开始前准备工作 1.下载并安装VM workstation pro 15安装包,这里选择: VMware-workstation-full-15.1.0-1359 ...
- 配置HADOOP开发环境
考虑到Windows平台尽管界面友好,但Hadoop环境配置较"怪异",需借助cygwin,这个过程并不优雅.正好我手上另有一套ubuntu环境,用着也很顺手,就在ubuntu中安 ...
- 在ubuntu下使用Eclipse搭建Hadoop开发环境
一.安装准备 1.JDK版本:jdk1.7.0(jdk-7-linux-i586.tar.gz) 2.hadoop版本:hadoop-1.1.1(hadoop-1.1.1.tar.gz) 3.ecli ...
- Hadoop入门系列（二）idea配置hadoop开发环境
主要分两部分:一.idea配置hadoop开发环境.二.idea安装hadoop插件. 一. 1.为了便于各个版本的hadoop获得对应jar包以及其依赖jar包.搭建maven项目是个很好的选择.创 ...
最新文章
- C# WinForm自定义拖动窗体
- beego之context新老版本使用
- SCNCHECKPOINT
- java递归单链表查找中间元素_《数据结构与算法——C语言描述》答案 3.11 查找单链表中的特定元素（递归）...
- DEEPIN搭建J2EE时遇到This program requires DISPLAY en...
- Hibernate→ORM、简介、第一个Hibernate实现、核心XML配置、Hibernate执行流程、操作数据库对象session、事务、映射XML配置、单例CRUD、get与load
- 中国证券IT发展简史（上）
- 怎样复制百度文库中的内容?
- 微信生成带参数二维码以及获取此二维码参数
- Java发送邮件，优美html邮件模板分享
- Linux好用命令之base64命令
- 讲座笔记 | 陆铭 城市、区域和国家发展:空间政治经济学的理论和实证研究
- jQuery手风琴菜单的制作
- 先验概率、后验概率、似然估计三者的区别与联系
- 软件测试之安装数据库
- 连连看核心算法与基本思想（附全部项目代码链接与代码详细注释）
- ROS张瑞雷老师布置作业第一天作业
- 如何推送PLC报警消息至微信
- 存储系统-块iSCSI
- C语⾔中关于float、double精度及数值范围