hadoop2.7.0-伪分布5分钟快速搭建

1关闭防火墙

(防止发生ui界面无法登陆)

#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off

2.安装hadoop和jdk

(可以直接运行下面代码)

#create a director hadoop
mkdir /hadoop#tar pakage
tar -xzvf hadoop-2.7.0.tar.gz  -C /hadoop/
tar -xzvf jdk-8u65-linux-x64.tar.gz  -C /hadoop/
tar -xvf  hadoop-native-64-2.7.0.tar -C /hadoop/hadoop-2.7.0/lib/native/  #add enviromnet variable
echo  'export JAVA_HOME=/hadoop/jdk1.8.0_65' >> /etc/profile
echo  'export HADOOP_HOME=/hadoop/hadoop-2.7.0' >> /etc/profile
echo  'export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin' >> /etc/profile
source /etc/profile

3.修改hadoop的配置文件

文件都在 /hadoop/hadoop-2.7.0/etc/hadoop

3.1修改hadoop-env.sh 文件

export JAVA_HOME=/hadoop/jdk1.8.0_65

3.2修改core-site.xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property><property><name>hadoop.tmp.dir</name><value>/hadoop/hadoop-2.7.0/tmp</value></property>
</configuration>

3.3修改文件hdfs-site.xml

<configuration><property><name>dfs.replication</name><value>2</value></property><property><name>dfs.namenode.name.dir</name><value>/hadoop/hadoop-2.7.0/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>/hadoop/hadoop-2.7.0/dfs/data</value></property>
</configuration>

3.4修改文件mapred-site.xml

重命名文件 mv mapred-site.xml.template mapred-site.xml 并编辑

<configuration><!-- 指定mr运行在yarn上 --><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>

3.5编辑文件yarn-site.xml

<configuration><property><name>yarn.resourcemanager.hostname</name><value>localhost</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
</configuration>

4.格式化namenode

hdfs namenode -format

5.启动namenode和yarn

#启动namenode和yarn
cd /hadoop/hadoop-2.7.0/
sbin/start-dfs.sh
sbin/start-yarn.sh

若没有配置免登陆，请多次输入密码

6.验证hadoop

[root@jop hadoop-2.7.0]# jps
3056 DataNode
2961 NameNode
3237 SecondaryNameNode
3343 Jps

附件下载地址链接：http://pan.baidu.com/s/1o7FkPho 密码：oblr

（内附了在centos6下一键安装hadoop2.7.0的压缩包hadoop_one_install.zip）

hadoop2.7.0-伪分布5分钟快速搭建相关推荐

Hadoop2.6.0伪分布环境搭建
用到的软件: 一.安装jdk: 1.要安装的jdk,我把它拷在了共享文件夹里面. (用优盘拷也可以) 2.我把jdk拷在了用户文件夹下面. (其他地方也可以,不过路径要相应改变) 3.执行复制安装 ...
win7 eclipse调用虚拟机ubuntu部署的hadoop2.2.0伪分布（1）
所用软件下载网址:链接:http://pan.baidu.com/s/1bn4IIQF密码:ramg win7环境下jdk下载路径(/jdk/jdk-7u71-windows-i586.exe) ec ...
Hadoop2.2.0伪分布式环境搭建（附：64位下编译Hadoop-2.2.0过程）
Hadoop2.2.0伪分布式环境搭建: 写在前面:Hadoop2.2.0默认是支持32位的OS,如果想要在64位OS下运行的话,可以通过在64位OS下面编译Hadoop2.2.0来实现,编译的操作步 ...
在Win7虚拟机下搭建Hadoop2.6.0伪分布式环境
近几年大数据越来越火热.由于工作需要以及个人兴趣,最近开始学习大数据相关技术.学习过程中的一些经验教训希望能通过博文沉淀下来,与网友分享讨论,作为个人备忘. 第一篇,在win7虚拟机下搭建hadoop ...
Linux一键部署duckchat,DuckChat 1.0.7发布，十分钟快速搭建聊天系统
DuckChat 1.0.7发布,十分钟快速搭建聊天系统 2018年09月28日 11:55作者:黄页编辑:黄页分享 DuckChat是一款安全的私有聊天软件,基于PHP环境,可运行在Docker. ...
转载文章-【工具】10分钟快速搭建属于自己的文档网站-来自掘金
掘金首页探索掘金搜索 lvhanghmm的头像 Gopal lv-4 2021年03月09日阅读 9930 关注 [工具]10分钟快速搭建属于自己的文档网站前言很多同学都希望能够拥有自己的 ...
ESP8266 Non-OS SDK 开发之旅基础篇① 初识 Non-OS SDK，史上超级详细手把手教小白20分钟快速搭建SDK软件开发环境，完成第一个例子Hello World！
文章目录 1.前言 2. SDK概述 2.1 SDK使用流程 2.2 ESP8266 HDK -- 硬件开发工具 2.3 ESP8266 SDK -- 软件开发工具包 2.3.1 Non-OS SDK ...
30分钟快速搭建移动应用直传OSS服务
30分钟快速搭建移动应用直传服务背景这是一个移动互联的时代.手机APP上传的数据会越来越多.把数据存储的问题交给OSS, 让开发者能更加专注于自己的应用逻辑. 那么怎么样基于OSS构建一个APP存 ...
Hadoop2.7.0伪分布式安装教程
2019独角兽企业重金招聘Python工程师标准>>> 总是要学点什么是吧,Java学大数据据说很快,就从这面入手了,正好项目在使用可以get一项新技能了,距离全栈工程师又进了一步不 ...