Hadoop入门基础教程 Hadoop之单机模式搭建
单机模式所需要的系统资源是最少的,这种安装模式下,Hadoop的core-site.xml、mapred-site.xml、hdfs-site.xml配置文件均为空。默认情况下,官方hadoop-1.2.1.tar.gz文件默认使用的就是单机安装模式。当配置文件为空时,Hadoop完全运行在本地,不与其他节点交互,也不使用Hadoop文件系统,不加载任何守护进程,该模式主要用于开发调试MapReduce应用程序的逻辑,不与任何守护进程交互进而避免复杂性。以hadoop用户远程登录K-Master服务器,在K-Master服务器上安装Hadoop过程如下
开发环境
硬件环境:CentOS 6.5 服务器4台(一台为Master节点,三台为Slave节点)
软件环境:Java 1.7.0_45、hadoop-1.2.1
1、安装Hadoop
1)以hadoop用户远程登录K-Master服务器,下载hadoop-1.2.1.tar.gz ,并将其拷贝到K-Master服务器的/home/hadoop/目录下。
2)解压hadoop-1.2.1.tar.gz
[hadoop@KVM-Master ~]$ su hadoop[hadoop@KVM-Master ~]$ cd /usr[hadoop@KVM-Master usr]$ sudo tar –zxvf /home/hadoop/hadoop-1.2.1.tar.gz
3) 重命名hadoop
[hadoop@KVM-Master usr]$ sudo mv hadoop-1.2.1/ hadoop/
4)将文件夹”hadoop”读权限分配给hadoop用户
很关键到一步,便于hadoop用户对该文件夹的文件拥有读写权限,不然后续hadoop启动后,无法在该文件夹创建文件和写入日志信息。
[hadoop@KVM-Master usr]$ sudo chown -R hadoop:hadoop /usr/hadoop
5)删除安装包
[hadoop@KVM-Master ~]$ rm –rf /home/hadoop/hadoop-1.2.1.tar.gz #删除”hadoop-1.2.1.tar.gz”安装包
2、配置环境变量
1)配置/etc/profile
[hadoop@KVM-Master ~]$ sudo vi /etc/profile#HADOOPexport HADOOP_HOME=/usr/hadoopexport PATH=$PATH:$HADOOP_HOME/bin export HADOOP_HOME_WARN_SUPPRESS=1
2)使得配置文件在当前终端立即生效
[hadoop@KVM-Master ~] $source /etc/profile
3、启动Hadoop
1)使用start-al.sh命令启动hadoop
[hadoop@KVM-Master ~] $start-all.sh
2)使用jps查看启动是否成功
[hadoop@KVM-Master ~] $jpsjps
因为是单机模式,NameNode和JobTracker等都没有启动,怎么知道安装是否成功了?
3)查看HDFS系统
[hadoop@KVM-Master ~] $ hadoop fs -ls /
通过hadoop fs -ls /命令查看Hadoop HDFS文件管理系统,显示的像Linux文件系统目录。若出现上述所示结果,表明Hadoop单机版安装成功。到目前为止,我们并没有对Hadoop的配置文件做任何修改,全是默认配置,即配置文件全为空,如下所示。
[hadoop@K-Master hadoop] vi conf/core-site.xml<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration></configuration>
Hadoop入门基础教程 Hadoop之单机模式搭建相关推荐
- Hadoop入门基础教程 Hadoop之完全分布式环境搭建
上一篇我们完成了Hadoop伪分布式环境的搭建,伪分布式模式也叫单节点集群模式, NameNode.SecondaryNameNode.DataNode.JobTracker.TaskTracker所 ...
- Hadoop入门基础教程 Hadoop之单词计数
单词计数是最简单也是最能体现MapReduce思想的程序之一,可以称为MapReduce版"Hello World",该程序的完整代码可以在Hadoop安装包的src/exampl ...
- Hadoop入门基础教程 Hadoop之伪分布式环境搭建
伪分布式模式即单节点集群模式,所有的守护进程都运行在同一台机器上.这种模式下增加了代码调试功能,可以查看内存.HDFS文件系统的输入/输出,以及与其他守护进程交互.以Hadoop用户远程登录K-Mas ...
- Hadoop入门基础教程 Hadoop之服务器基础环境搭建
本文以K-Master服务器基础环境配置为例分别演示用户配置.sudo权限配置.网路配置.关闭防火墙.安装JDK工具等.用户需参照以下步骤完成KVMSlave1~KVMSlave3服务器的基础环境配置 ...
- Hadoop新手篇:hadoop入门基础教程
Hadoop新手篇:hadoop入门基础教程 关于hadoop的分享此前一直都是零零散散的想到什么就写什么,整体写的比较乱吧.最近可能还算好的吧,毕竟花了两周的时间详细的写完的了hadoop从规划到环 ...
- Hadoop新手篇:hadoop入门基础教程 1
Hadoop新手篇:hadoop入门基础教程 关于hadoop的分享此前一直都是零零散散的想到什么就写什么,整体写的比较乱吧.最近可能还算好的吧,毕竟花了两周的时间详细的写完的了hadoop从规划到环 ...
- Timingdesigner入门 基础 教程
Timingdesigner 入门 基础 教程(装载) 原创作者:冰三点水 http://blog.csdn.net/u013608300/article/details/78988523 Timin ...
- Timingdesigner timing designer 入门 基础 教程
Timingdesigner timing designer 入门 基础 教程 冰三点水 微信公众号:工程师看海 Timingdesigner是一个灵活强大的画时序图软件,在fpga或dsp等开发中 ...
- HTML入门基础教程相关知识
HTML入门基础教程 html是什么,什么是html通俗解答: html是hypertext markup language的缩写,即超文本标记语言.html是用于创建可从一个平台移植到另一平台的超文 ...
最新文章
- 独家 | 国内AI专业高考报考指南
- 皮一皮:皇上,他在下毒!
- SELinux策略语言--客体类别和许可
- Mybatis通过colliection属性递归获取菜单树
- 用netsh自动切换IP
- 很简单很简单的DBHelper类
- Android:数据持久化、Environment、SharedPreferences、内部存储internalStorage
- 《数字图像处理与机器视觉——Visual C++与Matlab实现》——0.2 数字图像处理与识别...
- 「三分钟系列04」3分钟看懂Python黑魔法之__repr__和__str__
- 不要在锁的作用域之外通过指针或引用传递要保护的数据
- 2022-2023中国整体薪酬趋势
- 视频教程-【深入理解计算机网络】讲师解读计算机网络原理视频课程(上)-计算机网络
- 国王匿名信息服务器,扮国王还是卫兵? 角色扮演服务器登录美服
- 解决height:100vh超出屏幕高度的问题
- 互联网创业如何起步(一)
- OpenDRIVE v1.6 地图(一)Parametric cubic curve分析
- 你的常用密码是"ji32k7au4a83"吗?
- 51nod 1266 蚂蚁
- 3dmax:3dmax经典案例详细步骤图文教程之环境特效大气效果体积雾效果
- 油液多参数云监测平台实现人工智能化