Ubuntu16.04下Hadoop 2.7.3的安装与配置
一、JAVA环境搭建
(1)下载JDK并解压(当前操作系统为Ubuntu16.04,jdk版本为jdk-8u111-linux-x64.tar.gz)
新建/usr/java目录,切换到jdk-8u111-linux-x64.tar.gz所在目录,将这个文件解压缩到/usr/java目录下。
tar -zxvf jdk-8u101-linux-x64.tar.gz -C /usr/java/
(2)设置环境变量
修改.bashrc,在最后一行写入下列内容。
sudo vim ~/.bashrc
export JAVA_HOME=/usr/java/jdk1.8.0_111
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH
运行如下命令使环境变量生效。
source ~/.bashrc
打开profile文件,插入java环境配置节。
sudo vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_111
export JAVA_BIN=$JAVA_HOME/bin
export JAVA_LIB=$JAVA_HOME/lib
export CLASSPATH=.:$JAVA_LIB/tools.jar:$JAVA_LIB/dt.jar
export PATH=$JAVA_HOME/bin:$PATH
打开environment 文件,追加jdk目录和jdk下的lib的目录,如下所示。
sudo vim /etc/environment
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/usr/java/jdk1.8.0_111/lib:/usr/java/jdk1.8.0_111"
使配置生效
source /etc/environment
验证java环境是否配置成功
java -version
二、安装ssh-server并实现免密码登录
(1)下载ssh-server
sudo apt-get install openssh-server
(2) 启动ssh
sudo /etc/init.d/ssh start
(3) 查看ssh服务是否启动,如果有显示相关ssh字样则表示成功。
ps -ef|grep ssh
(4)设置免密码登录
使用如下命令,一直回车,直到生成了rsa。
ssh-keygen -t rsa
导入authorized_keys
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
测试是否免密码登录localhost
ssh localhost
关闭防火墙
ufw disable
三、安装hadoop单机模式和伪分布模式。
(1)下载hadoop-2.7.3.tar.gz,解压到/usr/local(单机模式搭建)。
sudo tar zxvf hadoop-2.7.3.tar.gz -C /usr/local
切换到/usr/local下,将hadoop-2.7.3重命名为hadoop,并 给/usr/local/hadoop设置访问权限。
cd /usr/local
sudo mv hadoop-2.7.3 hadoop
sudo chmod 777 /usr/local/hadoop
(2)配置.bashrc文件
sudo vim ~/.bashrc
(如果没有安装vim,请用 sudo apt install vim 安装。)
在文件末尾追加下面内容,然后保存。
#HADOOP VARIABLES START
export JAVA_HOME=/usr/java/jdk1.8.0_111
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END
执行下面命令,使添加的环境变量生效:
source ~/.bashrc
(3)hadoop配置 (伪分布模式搭建)
配置hadoop-env.sh
sudo vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh
# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.8.0_111
export HADOOP=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin
配置yarn-env.sh
sudo vim /usr/local/hadoop/etc/hadoop/yarn-env.sh
# export JAVA_HOME=/home/y/libexec/jdk1.6.0/
JAVA_HOME=/usr/java/jdk1.8.0_111
配置core-site.xml,在home目录下创建 /home/lyh/hadoop_tmp目录,然后在core-site.xml中添加下列内容。
sudo mkdir /home/lyh/hadoop_tmp
sudo vim /usr/local/hadoop/etc/hadoop/core-site.xml
<configuration><!-- 指定HDFS老大(namenode)的通信地址 --><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property><!-- 指定hadoop运行时产生文件的存储目录 --><property><name>hadoop.tmp.dir</name><value>/home/lyh/hadoop_tmp</value></property>
</configuration>
配置hdfs-site.xml
sudo vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml
<configuration><!-- 指定HDFS副本的数量 --><property><name>dfs.replication</name><value>1</value></property>
</configuration>
配置yarn-site.xml
sudo vim /usr/local/hadoop/etc/hadoop/yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property><property><name>yarn.resourcemanager.address</name><value>127.0.0.1:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>127.0.0.1:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>127.0.0.1:8031</value></property>
</configuration>
(4)关机重启系统。
四、测试Hadoop是否安装并配置成功。
(1)验证Hadoop单机模式安装完成
hadoop version
能够显示Hadoop的版本号即可说明单机模式已经配置完成。
(2)启动hdfs使用为分布模式。
格式化namenode
hdfs namenode -format
有 "……has been successfully formatted" 等字样出现即说明格式化成功。 注意:每次格式化都会生成一个namenode对应的ID,多次格式化之后,如果不改变datanode对应的ID号,运行wordcount向input中上传文件时会失败。
启动hdfs
start-all.sh
显示进程
jps
在浏览器中输入http://localhost:50070/,出现如下页面
输入 http://localhost:8088/,出现如下页面
则说明伪分布安装配置成功了。
停止hdfs
stop-all.sh
五、运行wordcount
(1)启动hdfs。
start-all.sh
(2) 查看hdfs底下包含的文件目录
hadoop dfs -ls /
如果是第一次运行hdfs,则什么都不会显示。
(3)在hdfs中创建一个文件目录input,将/usr/local/hadoop/README.txt上传至input中。
hdfs dfs -mkdir /input
hadoop fs -put /usr/local/hadoop/README.txt /input
(4)执行以下命令运行wordcount,并将结果输出到output中。
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input /output
出现类似上图的页面说明wordcount运行成功。注意:请将图中红色线框中的内容替换为自己的hadoop-mapreduce-examples-2.7.3.jar文件的路径信息。
(5)执行成功后output 目录底下会生成两个文件 _SUCCESS 成功标志的文件,里面没有内容。 一个是 part-r-00000 ,通过以下命令查看执行的结果,如下图。
hadoop fs -cat /output/part-r-00000
附:hdfs常用命令
hadoop fs -mkdir /tmp/input 在HDFS上新建文件夹
hadoop fs -put input1.txt /tmp/input 把本地文件input1.txt传到HDFS的/tmp/input目录下
hadoop fs -get input1.txt /tmp/input/input1.txt 把HDFS文件拉到本地
hadoop fs -ls /tmp/output 列出HDFS的某目录
hadoop fs -cat /tmp/ouput/output1.txt 查看HDFS上的文件
hadoop fs -rmr /home/less/hadoop/tmp/output 删除HDFS上的目录
hadoop dfsadmin -report 查看HDFS状态,比如有哪些datanode,每个datanode的情况
hadoop dfsadmin -safemode leave 离开安全模式
hadoop dfsadmin -safemode enter 进入安全模式
参考博客:
1.http://www.cnblogs.com/tatungzhang/p/5993138.html
2.http://blog.csdn.net/windghoul/article/details/52655032
Ubuntu16.04下Hadoop 2.7.3的安装与配置相关推荐
- Ubuntu16.04下Neo4j图数据库官网安装部署步骤(图文详解)(博主推荐)
不多说,直接上干货! 说在前面的话 首先,查看下你的操作系统的版本. root@zhouls-virtual-machine:~# cat /etc/issue Ubuntu 16.04.1 LTS ...
- Ubuntu16.04下caffe CPU版的详细安装步骤
一.caffe简介 Caffe,是一个兼具表达性.速度和思维模块化的深度学习框架. 由伯克利人工智能研究小组和伯克利视觉和学习中心开发. 虽然其内核是用C++编写的,但Caffe有Python和Mat ...
- Ubuntu16.04下Hadoop的本地安装与配置
一.系统环境 os : Ubuntu 16.04 LTS 64bit jdk : 1.8.0_161 hadoop : 2.6.4 部署时使用的用户名为hadoop,下文中需要使用用户名的地方请更改为 ...
- ubuntu16.04下NVIDIA GTX965M显卡驱动PPA安装
这两天在笔记本(神舟Z7M-SL7D2)下安装ubuntu16.04, 执行ubuntu安装程序时,经常会在最开始选择语言的界面时鼠标键盘无响应,死机概率30%. 安装完成后,点重启按钮也会导致系统无 ...
- Ubuntu16.04 Oracle JDK8和Open JDK8的安装与配置
Oracle JDK 8 首先到Oracle官网下载JDK8,下载地址如下: Oracle JDK8 Linux 版官网下载地址 安装命令如下: sudo mkdir /usr/lib/jvm sud ...
- ubuntu16.04安装python.h_ubuntu16.04 下基于 Python 的 OpenCV 的安装
ubuntu16.04 下基于 Python 的 OpenCV 的安装 这几天一直在学习基于 Python 的 OpenCV , 开发环境是在 Ubuntu16.04 下, 学习的心得就是基于 Pyt ...
- ubuntu16.04 下安装Opencv2.4.9
ubuntu16.04 下安装Opencv2.4.9 OpenCV的源码download from: https://sourceforge.net/projects/opencvlibrary/? ...
- ubuntu16.04下ROS最新换源方法,解决Hash sum mismatch 问题
1.更换源 备份原始数据 cd /etc/apt/ sudo cp sources.list sources.list.bak sudo gedit sources.list 科大源: deb htt ...
- Ubuntu16.04下Mongodb官网卸载部署步骤(图文详解)(博主推荐)
不多说,直接上干货! 前期博客 Ubuntu16.04下Mongodb官网安装部署步骤(图文详解)(博主推荐) https://docs.mongodb.com/manual/tutorial/ins ...
最新文章
- Silverlight:如何在程序中获取网站的根目录
- Leetcode 173. 二叉搜索树迭代器 解题思路及C++实现
- 为你的移动页面寻找一丝新意——手机互动网页项目总结(上)
- Zookeeper源码分析(二) ----- zookeeper日志
- Django 时间与时区设置问题
- ubuntu部署tomcat
- MyBatis出现红色错误,已解决(Establishing SSL connection without)
- c语言数字转成大写,c语言 数字变大写 代码
- 仿真软件测试基尔霍夫定律,标签:基尔霍夫定律
- ffmpeg 转换flv压缩大小_视频压缩工具ffmpeg的使用
- STM32F103移植FreeRTOS
- 如何修改word2016模板
- 西南石油大学天空教室_【Hi西柚】善意指数统计,在西南石大可以遇见多少温暖...
- 使用Enter键代替Tab键的功能
- 扎克伯格 java_程序员的5种级别,扎克伯格比尔盖茨并非最高等级!
- 机器学习实战学习提纲
- AUTOSAR工具ISOLAR简介
- 【计网】三、数据链路层
- 百度5000W收购hao123成功在那里?
- oracle 刷新num rows,oracle:dba_tables表中的一行为NUM_ROWS数值不与该表用COUNT(*)数量同步...