Ubuntu下的Hadoop安装

二、Hadoop安装

采用版本为hadoop-2.7.7

①JDK的安装

2.1.1 创建文件夹

sudo mkdir /expt
sudo chmod 777 /expt

这个出错我参考别的原因也改过来了，

pkexec chmod 0440 /etc/sudoers

2.1.2 移动文件

之前已经解压过了，所以改一下位置就行了

2.1.3 创建软链接

ln -s /expt/jdk1.8.0_141 jdk

2.1.4配置JDK环境变量

vi ~/.bashrc（我还是不喜欢vi命令，直接进去/目录，然后点击.bashrc）

export JAVA_HOME=~/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=${JAVA_HOME}/lib/dt.jar:$JAVA_HOME/lib/tools.jar:.
export PATH=${JAVA_HOME}/bin:$PATH

注意版本一定要填对，括号相当于延续路径

重启配置文件

source ~/.bashrc

检验是否安装成功

java –version

这就是成功了

②ssh免密登录设置

2.2.1 在4612190403主机生成密钥对

ssh-keygen -t rsa

连敲三个ender，这个我已经配置过了，

查看ssh

ls ~/.ssh

2.2.2 将主机公钥id_rsa.pub复制到4612190403主机上

ssh-copy-id -i  ~/.ssh/id_rsa.pub 4612190403

2.2.3 验证免密登录

ssh 4612190403

2.2.4在输入ps -e|grep ssh 检验是否启动

 ps -e|grep ssh

修改/etc/ssh/sshd_config下的端口号（Port）后，重启SSH服务即可生效

重启ssh

sudo /etc/init.d/ssh restart

③ hadoop解压与系统变量配置

2.3.1 设置Hadoop配置文件

#创建文件夹
mkdir /expt/server
mkdir /expt/data
mkdir /expt/data/hddata

下载hadoop-2.7.7.tar.gz

Apache Hadoop

把hadoop解压移动到 /expt/server里面

tar zxvf hadoop-2.7.7.tar.gz -C /expt/server

2.3.2 创建软链接

ln -s /expt/server/hadoop-2.7.7 hadoop

2.3.3 配置环境变量还是去~/.bashrc，同样的source

export HADOOP_HOME=~/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbinsource ~/.bashrc

2.3.4 设置Hadoop配置文件

cd /home/ubuntu/Desktop/hadoop

2.3.5 配置hadoop-env.sh

这个一定要改成自己连接的jdk

2.3.6 配置core-site.xml

注意<configuration>一定要有对应的</configuration>，配置的时候一定要看是否有这个，宁愿删了也别留着，注意修改自己的用户名

<configuration><property><name>fs.defaultFS</name><value>hdfs://4612190403:9000</value></property><property><name>hadoop.tmp.dir</name><value>/expt/data/hddata</value></property>
</configuration>

2.3.7 配置hdfs-site.xml

注意修改自己的用户名和对应configuration

<configuration><property><name>dfs.replication</name><value>1</value></property><property> <name>dfs.namenode.secondary.http-address</name> <value>4612190403:50090</value> </property></configuration>

2.3.8 配置mapred-site.xml

先把这个文件复制一下，在配置新文件

cp mapred-site.xml.template mapred-site.xml

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>

2.3.9 配置yarn-site.xml

<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.resourcemanager.hostname</name><value>4612190403</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>

2.3.10 hadoop格式化（只能做一次格式化）

hdfs namenode -format

2.3.11 启动HDFS和YARN，启动Hadoop，验证Hadoop进程

start-all.sh

jps

2.3.12测试Hadoop

（1）创建一个文本文件data.txt

cd ~
vi data.txt
Hello World
Hello Hadoop

（2）在HDFS创建input文件夹

hdfs dfs -mkdir /input

（3）将data.txt上传到HDFS,并查看结果

hdfs dfs -put data.txt /input
hdfs dfs -ls /input #查看结果

（4）运行MapReduce WordCount例子

cd /home/ubuntu/Desktop/hadoop/share/hadoop/mapreducehadoop jar hadoop-mapreduce-examples-2.7.7.jar wordcount /input/data.txt /output

（5）查看结果，显示正确。

hdfs dfs -cat /output/part-r-00000

这样就彻底完成了，错误一般都是环境配置问题

Ubuntu下的Hadoop安装相关推荐

在Ubuntu下创建hadoop组和hadoop用户
一.在Ubuntu下创建hadoop组和hadoop用户增加hadoop用户组,同时在该组里增加hadoop用户,后续在涉及到hadoop操作时,我们使用该用户. 1.创建hadoop用户组 2.创 ...
Ubuntu下使用Anaconda安装opencv 解决无法读取视频
Ubuntu下使用Anaconda安装opencv 最近在Ubuntu16.04下使用Anaconda安装opencv,碰到很多坑,记录备忘. cv2.VideoCapture(filename) 返 ...
【区块链-以太坊】5 Ubuntu下truffle ganache安装及使用
[区块链-以太坊]5 Ubuntu下truffle & ganache安装及使用 1 truffle安装 1)输入sudo npm install -g truffle 2)将truffle复 ...
ubuntu下MySQL的安装
为什么80%的码农都做不了架构师?>>> 一.ubuntu下MySQL的安装 1. 在ubuntu命令行下输入 sudo apt-get install mysql-serve ...
Ubuntu下mongodb的安装与配置
MongoDB 是一个跨平台的,面向文档的数据库,提供高性能,高可用性和可扩展性方便.这里介绍在Ubuntu下mongodb的安装与配置. 1.下载 mongodb可以在官网上下载,地址,选择Ubun ...
[Linux]Ubuntu下用apt-get安装的应用程序位置
Ubuntu下用apt-get安装的应用程序的可执行文件默认放到/usr/bin目录下. 比如: 运行eclipse命令,如果出现:"程序eclipse未安装",这样我们可以执行: ...
ubuntu下ffmpeg编译安装
ubuntu下ffmpeg编译安装解决库链接不上的问题 ubuntu下ffmpeg编译安装 1.ffmpeg是什么东西?相信很多人第一次接触这个东西,我先在这里做个简单的介绍. FFmpeg是一 ...
在Ubuntu下rtorrent编译安装笔记
为什么80%的码农都做不了架构师?>>> rtorrent是一个Bittorrent软件,基于终端的BT客户端,高性能.低资源,另外有不少人给rtorrent开发了Web GU ...
在Ubuntu下使用Apt-Get安装Google Chrome
在Ubuntu下使用Apt-Get安装Google Chrome 给初次接触linux的人总结,希望有帮助步骤如下: 终端输入 wget -q -O - https://dl-ssl.google. ...
ubuntu 下 Graphviz 的安装及神经网络的绘图
ubuntu 下 Graphviz 的安装 sudo apt-get install graphviz 神经网络的绘图 touch nn.dot vim nn.dot 编辑如下内容: digraph ...

Ubuntu下的Hadoop安装

Ubuntu下的Hadoop安装相关推荐

最新文章

热门文章