本地搭建Hadoop伪分布式环境之四:开启搭建Hadoop2.4.0之旅
1、准备软件
64位下载包下载: hadoop-2.4.0-64bit.tar.gz
百度网盘:链接: http://pan.baidu.com/s/1hqEDe2S password: 224f链接: http://pan.baidu.com/s/1gdl95OB password: h6dc
2、安装JDK
直接运行安装命令:sudo apt-get install openjdk-7-jdk
3、安装Hadoop
3.1上传hadoop压缩文件
通过之前配置的FlashFXP直接将文件上传到Ubuntu上
3.2解压hadoop文件
sudo tar -xzvf /tmp/hadoop-2.4.0-64bit.tar.gz
3.3配置hadoop文档
文档1:sudo vi profile(注意,这里说的etc不是hadoop文件夹下的那个,是用户根文件夹下的。在末尾加入:
)
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64export HADOOP_PREFIX=/home/YXC/hadoop-2.4.0export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"export PATH="$JAVA_HOME/:$HADOOP_PREFIX/bin:$PATH"export HADOOP_PREFIX PATH CLASSPATH文档2:hadoop-env.sh 进入hadoop2.4.0目录,配置etc/hadoop中的文件
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386文档3:core-site.xml
<configuration><property><name>fs.default.name</name><value>hdfs://localhost:9000</value></property><property><name>dfs.namenode.name.dir</name><value>file:/home/YXC/hadoop-2.4.0/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/home/YXC/hadoop-2.4.0/dfs/data</value></property></configuration>
文档4:hdfs-site.xml(系统默认文件保存3份,因伪分布模式。故改为1份)
<configuration><property><name>dfs.replication</name><value>1</value><description>Default block replicied when the file is created. The default </description></property><property><name>dfs.namenode.name.dir</name><value>/home/YXC/hadoop-2.4.0/dfs/name</value><property><property><name>dfs.namenode.data.dir</name><value>/home/YXC/hadoop-2.4.0/dfs/data</value><property><configuration>
文档5:mapred-site.xml(注意改动文件后缀:sudo mv mapred-site.xml.template mapred-site.xml)
<configuration><property><name>mapreduce.jobtracker.address</name><value>localhost:9001</value></property></configuration>
文档6:yarn-site.xml
<configuration><!-- Site specific YARN configuration properties --><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>
4、SSH免password登录
ssh localhost要是能免password登陆显示系统信息。就应该是对的。(这里有个输入password环节,是系统的password)。
5、開始终极配置
5.1到hadoop2.4.0文件夹下
./bin/hadoop namenode –format格式化结点信息假设出现 HADOOP_HDFS_HOME not found!关掉虚拟机重新启动就可以。
5.2開始sbin/start-all.sh.
运行 jps 则出现:
表明成功!浏览器下http://ip:50070 这是hdfs的页面!
本地搭建Hadoop伪分布式环境之四:开启搭建Hadoop2.4.0之旅相关推荐
- Windows 7 64位系统上搭建Hadoop伪分布式环境(很详细)
在开始配置前,我们先了解Hadoop的三种运行模式. Hadoop的三种运行模式 独立(或本地)模式:无需运行任何守护进程,所有程序都在同一个JVM上执行.在独立模式下测试和调试MapReduce程序 ...
- 本地搭建Hadoop伪分布式环境之一:虚拟机的安装
作者:GISer_Leo 好久没有写技术文档了,最近都在做项目:今日抽空搭建下Hadoop伪分布式环境: 个人笔记本:win8.1系统,内存32G,i7,硬盘1.5T: 准备软件:1.VMware-w ...
- 搭建 Hadoop 伪分布式环境
软硬件环境 CentOS 7.2 64 位 OpenJDK- 1.8 Hadoop- 2.7 关于本教程的说明 云实验室云主机自动使用 root 账户登录系统,因此本教程中所有的操作都是以 root ...
- 构建Hadoop伪分布式环境
构建Hadoop伪分布式环境 这篇文章介绍Hadoop伪分布式环境的搭建过程与原理,是个人的学习总结,以纪念在各个步骤中遇到的麻烦.踩过的坑! 这篇笔记包含这样几个内容: 配置伪分布式环境 运行一个简 ...
- 在多台机器上搭建Hadoop的分布式环境
2019独角兽企业重金招聘Python工程师标准>>> 分布式环境搭建之环境介绍 之前我们已经介绍了如何在单机上搭建伪分布式的Hadoop环境,而在实际情况中,肯定都是多机器多节点的 ...
- Spark基础学习笔记04:搭建Spark伪分布式环境
文章目录 零.本讲学习目标 一.搭建伪分布式Hadoop (一)登录ied虚拟机 (二)配置免密登录 1.生成密钥对 2.将生成的公钥发送到本机(虚拟机ied) 3.验证虚拟机是否能免密登录本机 (三 ...
- Hadoop组件搭建-Hadoop伪分布式
该文章仅用于记录个人笔记,如果您觉得不专业或者有误导,打扰到您,请谅解. Hadoop组件搭建-前置要求 Hadoop组件搭建-jdk Hadoop组件搭建-Hadoop伪分布式 Hadoop组件搭建 ...
- Hadoop学习总结(3)——Hadoop伪分布式环境搭建
一.Hadoop运行模式 Local (Standalone) Mode 本地模式 适用于开发人员测试Debug 使用本地文件系统 Pseudo-Distributed Mode 伪分布式模式 适用于 ...
- hadoop伪分布式环境的搭建配置整理
本篇是整理了搭建hadoop环境需要的一些配置和步骤,其中有些配置是完全分布式的时候才用的,这里注意需要注意. linux系统设置 1,配置或者搭建集群过程中,全部用root账户登入 2,修改主机名方 ...
最新文章
- qtcreator cannot find -lts
- 每日一皮:程序员最讨厌的四件事!
- 《大数据分析原理与实践》一一第3章 关联分析模型
- python正则怎么取反_第11.19节 Python 中正则表达式的扩展功能:前视断言和前视取反...
- linux 安装 wkhtmltox
- 动态改变标题_小米相册更新,新增动态换天/赛博朋克/MIUI12界面等等!
- 华为服务器欧拉系统怎么改ip,EulerOS系统配置
- 联想y50更换固态硬盘_联想y50怎么加固态硬盘而不换原来的机器硬盘?
- psd.js 解析PSD文件
- cmd运行javac解析中文乱码
- 作为一名管理者,如何做好上传下达工作呢?
- 一张图告诉你,自学编程和科班程序员的差别在哪!网友:很真实
- ramda 函数 Math
- python从键盘输入一个数、计算出大于n的最小素数_python 从键盘任意输入一个正整数n,并找出大于n的最小素数,这个程序怎么写...
- code换取微信openid_快速实现微信公众号支付功能
- 如何制作PE系统盘?
- matlab mysql建系统_能环水体治理项目(Mysql数据库,Matlab创建GUI界面)【一】
- 前端、框架和其他(155题)
- Mac Git 如何设置ssh key
- 有什么适合打游戏的蓝牙耳机?玩游戏不延迟的蓝牙耳机推荐