centos 7下Hadoop 2.7.2 伪分布式安装
centos 7 下Hadoop 2.7.2 伪分布式安装,安装jdk,免密匙登录,配置mapreduce,配置YARN。详细步骤如下:
1.0 安装JDK
1.1 查看是否安装了openjdk
[lei@bogon ~]$ java -version
openjdk version "1.8.0_65"
OpenJDK Runtime Environment (build 1.8.0_65-b17)
OpenJDK 64-Bit Server VM (build 25.65-b01, mixed mode)
1.2 查看openjdk源
[lei@bogon ~]$ rpm -qa | grep java
java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64
tzdata-java-2015g-1.el7.noarch
python-javapackages-3.4.1-11.el7.noarch
javapackages-tools-3.4.1-11.el7.noarch
java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64
java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64
java-1.7.0-openjdk-headless-1.7.0.91-2.6.2.3.el7.x86_64
1.3 需root登录
[lei@bogon ~]$ rpm -e --nodeps tzdata-java-2015g-1.el7.noarch
错误:can't create 事务 lock on /var/lib/rpm/.rpm.lock (权限不够)
[lei@bogon ~]$ su
密码:
1.4 依次删除OPENJDK
[root@bogon lei]# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64
[root@bogon lei]# rpm -e --nodeps tzdata-java-2015g-1.el7.noarch
[root@bogon lei]# rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64
[root@bogon lei]# rpm -e --nodeps java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64
[root@bogon lei]# rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.91-2.6.2.3.el7.x86_64
1.5 将下载JDK后缀为.tar.gz解压缩至/opt路径下
[root@bogon lei]# tar -zxf/home/lei/桌面/jdk-8u77-linux-x64.tar.gz -C /opt
1.6 配置JDK环境变量
[root@bogon lei]# vim /etc/profile.d/java.sh
输入以下内容
JAVA_HOME=/opt/jdk1.8.0_77
JRE_HOME=/opt/jdk1.8.0_77/jre
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
PATH=$JAVA_HOME/bin:$PATH
1. 8使变量生效
source /etc/profile.d/java.sh
2.0 ssh 免密匙登录
是否可以免密匙登录
[root@bogon lei]# ssh localhost
The authenticity of host 'localhost (::1)' can't be established.
ECDSA key fingerprint is 7b:10:e3:b5:ea:7d:29:be:77:83:1c:c0:1d:85:de:ba.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts.
[root@localhost's password:
Last login: Sat Apr 2 22:32:44 2016
配置免密匙登录
[root@bogon ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
Generating public/private dsa key pair.
Your identification has been saved in /root/.ssh/id_dsa.
Your public key has been saved in /root/.ssh/id_dsa.pub.
The key fingerprint is:
e0:ba:3c:c5:73:dd:f0:39:51:ad:87:4b:dc:32:46:83 root@bogon
The key's randomart image is:
+--[ DSA 1024]----+
| . . |
| E + .|
| . + = |
| . . . . O o|
| .. S. + = = |
| .+ . . = . |
| .. o . |
| ... |
| o. |
+-----------------+
[root@bogon ~]# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
[root@bogon ~]# chmod 0600 ~/.ssh/authorized_keys
再次登录,即可免密匙
[root@bogon ~]# ssh localhost
Last login: Sat Apr 2 22:51:41 2016 from localhost
3.0 安装Hadoop
3.0.1解压Hadoop至/opt路径下
tar -zxf /home/lei/桌面/hadoop-2.7.2.tar.gz -C /opt
3.0.2配置Hadoop环境变量
vim /etc/profile.d/hadoop.sh
输入以下内容
export HADOOP_HOME=/opt/hadoop-2.7.2
export HADOOP_PREFIX=/opt/hadoop-2.7.2
使变量生效
source /etc/profile.d/hadoop.sh
3.0.3进入已经解压的Hadoop路径下
[root@bogon ~]# cd /opt/hadoop-2.7.2
3.0.4 修改hadoop-env.sh 增加JAVA_HOME路径
[root@bogon hadoop-2.7.2]# vim etc/hadoop/hadoop-env.sh
增加如下代码
export JAVA_HOME=/opt/
3.0.5 运行命令可看到Hadoop支持的命令
[root@bogon hadoop-2.7.2]# bin/hadoop
3.1 配置Mapreduce
3.1.1 编辑core-site.xml
[root@bogon hadoop-2.7.2]# vim etc/hadoop/core-site.xml
<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>
3.1.2 编辑hdfs-site.xml
[root@bogon hadoop-2.7.2]# vim etc/hadoop/hdfs-site.xml
<configuration><property><name>dfs.replication</name><value>1</value></property>
</configuration>
3.1.3 格式化
[root@bogon hadoop-2.7.2]# bin/hdfs namenode -format
省略N行
16/04/02 22:54:15 INFO common.Storage: Storage directory /tmp/hadoop-root/dfs/name has been successfully formatted./************************************************************
SHUTDOWN_MSG: Shutting down NameNode at bogon/221.192.153.42
************************************************************/
3.1.4 开启mapreduce
[root@bogon hadoop-2.7.2]# sbin/start-dfs.sh
3.1.5 访问http://localhost:50070/
如图
3.1.6 运行mapreduce案例
[root@bogon hadoop-2.7.2]# bin/hdfs dfs -mkdir /user
[root@bogon hadoop-2.7.2]# bin/hdfs dfs -mkdir /user/lei
### 如果出现没有input错误
[root@bogon hadoop-2.7.2]# bin/hdfs dfs -put etc/hadoop input
put: `input': No such file or directory
### 手动创建
[root@bogon hadoop-2.7.2]# bin/hadoop fs -mkdir -p input
[root@bogon hadoop-2.7.2]# bin/hdfs dfs -put etc/hadoop input
[root@bogon hadoop-2.7.2]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'
3.1.7 查看文件
[root@bogon hadoop-2.7.2]# bin/hadoop dfs -ls
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.
Found 2 items
drwxr-xr-x - root supergroup 0 2016-04-02 23:39 input
drwxr-xr-x - root supergroup 0 2016-04-02 23:43 output
3.1.8 停止mapreduce
[root@bogon hadoop-2.7.2]#sbin/start-dfs.sh
mapreduce配置完成
3.2 YARN配置
3.2.1 配置mapred-site.xml
[root@bogon hadoop-2.7.2]# mv etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
[root@bogon hadoop-2.7.2]# vim etc/hadoop/mapred-site.xml<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>
3.2.2配置yarn-site.xml
[root@bogon hadoop-2.7.2]# vim etc/hadoop/yarn-site.xml<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
</configuration>
[root@bogon hadoop-2.7.2]# sbin/start-yarn.sh
3.2.3 稍等片刻启动完毕后 打开http://localhost:8088/
如图
Hadoop伪分布式安装完成
转载于:https://www.cnblogs.com/lanzhi/p/6467725.html
centos 7下Hadoop 2.7.2 伪分布式安装相关推荐
- linux centos/debian下hadoop2.6.5单机伪分布式安装
官方文档 hadoop2.6.5官方安装文档 配置/etc/hosts 增加节点名称node01 修改hdp配置文件 cd /opt/hadoop-2.6.5/etc/hadoop 第一个:hadoo ...
- hadoop 2.7.3伪分布式安装
hadoop 2.7.3伪分布式安装 hadoop集群的伪分布式部署由于只需要一台服务器,在测试,开发过程中还是很方便实用的,有必要将搭建伪分布式的过程记录下来,好记性不如烂笔头. hadoop 2. ...
- CentOS系统下Hadoop 2.4.1集群安装配置(简易版)
安装配置 1.软件下载 JDK下载:jdk-7u65-linux-i586.tar.gz http://www.oracle.com/technetwork/java/javase/downloads ...
- hadoop hbase java_Hadoop、Hbase伪分布式安装
环境 本文介绍Hadoop.Hbase的伪分布式安装. 操作系统: Centos7 Hadoop: 2.7.3 Hbase: 1.2.3 Hadoop安装 JAVA_HOME环境变量配置 由于Hbas ...
- Hadoop单机模式和伪分布式搭建教程CentOS
版权声明:本文为博主原创文章,欢迎转载,请注明地址. 目录(?)[-] 准备工作 1 软件准备 2 创建hadoop用户 3 配置SSH无密码访问 4 安装JAVA环境 单机模式安装 伪分布式安装 首 ...
- 单机安装 hadoop 环境(Hadoop伪分布式安装)
任务描述: 作为某公司运维工程师,需在单机安装 hadoop 环境(Hadoop伪分布式安装).本环节需要使用 root用户完成相关配置,具体部署要求如下: 1. 关闭虚拟机防火墙 2. 修改&quo ...
- hadoop伪分布式安装
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/qq1010885678/article/details/43447733 首先需要有一台linux的 ...
- 在Win7虚拟机下搭建Hadoop2.6.0伪分布式环境
近几年大数据越来越火热.由于工作需要以及个人兴趣,最近开始学习大数据相关技术.学习过程中的一些经验教训希望能通过博文沉淀下来,与网友分享讨论,作为个人备忘. 第一篇,在win7虚拟机下搭建hadoop ...
- Hadoop单机伪分布式安装(完整版)
在学习Hadoop时,我发现网上的各种安装的资料要不不全,要不前后不匹配(比如有的是伪分布式,有的是完全分布式).此篇文章,我总结了身边的同学在安装Hadoop时遇到的毛病,在前面安装配置环节,尽可能 ...
最新文章
- python flask 部署_如何进行Python Flask项目的部署?
- WebBrowser组件和MSHTML
- jsp stc_为什么说jsp的本质是servlet?
- fwrite 写不进去_12款猫狗粮对比,吃中低端猫狗粮吃得多不省钱,还更容易得病...
- Unix 网络编程(四)- 典型TCP客服服务器程序开发实例及基本套接字API介绍
- 小米12系列或首发2亿像素主摄:配原生1英寸超大底
- ubuntu安装 Samba实现局域网文件共享 win10访问
- ydui倒计时:time_最后的倒计时:部署我的深度学习项目
- threejs 三面体_Three.js基础探寻五——正二十面体、圆环面等
- VBA学习笔记之Range.Resize属性
- iPhone设备上安装beta版本系统,在浏览器中搜索网址 beta.apple.com
- oracle重做日志教程,Oracle重做日志管理
- 公司银企对账怎么操作
- yaourt/yay 安装软件出现 parse “XXX“: first path segment in URL cannot contain colon 错误
- bittorrent_面向初学者的BitTorrent:充分利用Internet连接
- 关于UVM中的Sequence(一)
- PC企业微信HOOK接口,获取指定好友的详细信息
- 学生HTML个人网页作业作品 HTML+CSS校园环保(大学生环保网页设计与实现)
- 什么是ICTI认证?ICTI认证有什么好处?
- 服务器磁盘阵列-RAID配置