Hadoop1.2.1伪分布模式安装指南
一、前置条件
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
- [root@jediael jediael]$wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
- root@jediael jediael]$ tar -zxvf hadoop-1.2.1-bin.tar.gz
- [root@jediael hadoop-1.2.1]$ vi conf/hadoop-env.sh
- export JAVA_HOME=/usr/java/jdk1.7.0_51
- [root@jediael hadoop-1.2.1]$ bin/hadoop
- Usage: hadoop [--config confdir] COMMAND
- where COMMAND is one of:
- namenode -format format the DFS filesystem
- secondarynamenode run the DFS secondary namenode
- namenode run the DFS namenode
- datanode run a DFS datanode
- dfsadmin run a DFS admin client
- mradmin run a Map-Reduce admin client
- fsck run a DFS filesystem checking utility
- fs run a generic filesystem user client
<configuration><property><name>fs.default.name</name><value>hdfs://localhost:9000</value></property> </configuration>
<configuration><property><name>dfs.replication</name><value>1</value></property> </configuration>
<configuration><property><name>mapred.job.tracker</name><value>localhost:9001</value></property> </configuration>
四、启动hadoop
- [root@jediael hadoop-1.2.1]$ bin/hadoop namenode -format
- 14/08/16 23:50:02 INFO namenode.NameNode: STARTUP_MSG:
- /************************************************************
- STARTUP_MSG: Starting NameNode
- STARTUP_MSG: host = jediael/10.171.29.191
- STARTUP_MSG: args = [-format]
- STARTUP_MSG: version = 1.2.1
- STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013
- STARTUP_MSG: java = 1.7.0_51
- ************************************************************/
- 14/08/16 23:50:02 INFO util.GSet: Computing capacity for map BlocksMap
- 14/08/16 23:50:02 INFO util.GSet: VM type = 64-bit
- 14/08/16 23:50:02 INFO util.GSet: 2.0% max memory = 1013645312
- 14/08/16 23:50:02 INFO util.GSet: capacity = 2^21 = 2097152 entries
- 14/08/16 23:50:02 INFO util.GSet: recommended=2097152, actual=2097152
- 14/08/16 23:50:02 INFO namenode.FSNamesystem: fsOwner=jediael
- 14/08/16 23:50:02 INFO namenode.FSNamesystem: supergroup=supergroup
- 14/08/16 23:50:02 INFO namenode.FSNamesystem: isPermissionEnabled=true
- 14/08/16 23:50:02 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100
- 14/08/16 23:50:02 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)
- 14/08/16 23:50:02 INFO namenode.FSEditLog: dfs.namenode.edits.toleration.length = 0
- 14/08/16 23:50:02 INFO namenode.NameNode: Caching file names occuring more than 10 times
- 14/08/16 23:50:03 INFO common.Storage: Image file /tmp/hadoop-jediael/dfs/name/current/fsimage of size 113 bytes saved in 0 seconds.
- 14/08/16 23:50:03 INFO namenode.FSEditLog: closing edit log: position=4, editlog=/tmp/hadoop-jediael/dfs/name/current/edits
- 14/08/16 23:50:03 INFO namenode.FSEditLog: close success: truncate to 4, editlog=/tmp/hadoop-jediael/dfs/name/current/edits
- 14/08/16 23:50:03 INFO common.Storage: Storage directory /tmp/hadoop-jediael/dfs/name has been successfully formatted.
- 14/08/16 23:50:03 INFO namenode.NameNode: SHUTDOWN_MSG:
- /************************************************************
- SHUTDOWN_MSG: Shutting down NameNode at jediael/10.171.29.191
- ************************************************************/
- [root@jediael hadoop-1.2.1]# bin/start-all.sh
- starting namenode, logging to /opt/jediael/hadoop-1.2.1/libexec/../logs/hadoop-root-namenode-jediael.out
- localhost: starting datanode, logging to /opt/jediael/hadoop-1.2.1/libexec/../logs/hadoop-root-datanode-jediael.out
- localhost: starting secondarynamenode, logging to /opt/jediael/hadoop-1.2.1/libexec/../logs/hadoop-root-secondarynamenode-jediael.out
- starting jobtracker, logging to /opt/jediael/hadoop-1.2.1/libexec/../logs/hadoop-root-jobtracker-jediael.out
- localhost: starting tasktracker, logging to /opt/jediael/hadoop-1.2.1/libexec/../logs/hadoop-root-tasktracker-jediael.out
- NameNode - http://localhost:50070/
- JobTracker - http://localhost:50030/
- [root@jediael hadoop-1.2.0]# jps
- 3148 JobTracker
- 3280 TaskTracker
- 3052 SecondaryNameNode
- 2920 DataNode
- 2801 NameNode
- 3442 Jps
五、使用一个简单的hadoop程序验证环境
Hadoop1.2.1伪分布模式安装指南相关推荐
- hadoop1.2.1伪分布模式配置
1.修改core-site.xml,配置hdfs 1 <configuration> 2 <property> 3 <name>fs.default.name< ...
- hadoop1.2.1伪分布模式安装教程
1:软件环境准备 1.1Hadoop: 我们使用hadoop Release 1.2.1(stable)版本,下载链接: http://mirrors.ustc.edu.cn/apache/hadoo ...
- Linux环境搭建Hadoop伪分布模式
Hadoop有三种分布模式:单机模式.伪分布.全分布模式,相比于其他两种,伪分布是最适合初学者开发学习使用的,可以了解Hadoop的运行原理,是最好的选择.接下来,就开始部署环境. 首先要安装好Lin ...
- Linux下部署Hadoop伪分布模式
Hadoop版本为1.2.1 Distribution为Fedora19并使用hadoop账号安装 第一步:配置ssh本地登录证书(虽然为伪分布模式,Hadoop依然会使用SSH进行通信) [hado ...
- SUSE上搭建Hadoop环境(单机模式+伪分布模式)
为什么80%的码农都做不了架构师?>>> [环境]: 经常遭遇因为依赖软件版本不匹配导致的问题,这次大意了,以为java问题不大,就用本来通过yast安装的java1.6 op ...
- 【Hadoop环境搭建】Centos6.8搭建hadoop伪分布模式
阅读目录 概要 章节1:安装java 1.6 章节2:设置ssh无密码登录 章节3:Hadoop的安装(在Hadoop用户下) 章节4:配置Hadoop相关配置文件 章节5:Hadoop启动 章节6: ...
- Hadoop伪分布模式安装
Hadoop伪分布模式安装 Hadoop的运行模式分为3种: 本地运行模式,伪分布运行模式,完全分布运行模式. (1)本地模式(local mode) 这种运行模式在一台单机上运行,没有HDFS分布式 ...
- 大数据2 Hadoop伪分布模式配置部署
为什么80%的码农都做不了架构师?>>> Hadoop伪分布模式配置部署 一.实验环境说明 注意:本实验需要按照上一节单机模式部署后继续进行操作 1. 环境登录 无需密码自动登 ...
- Hadoop学习之以伪分布模式部署Hadoop及常见问题
Hadoop既可以以单机模式运行,也可以以伪分布模式运行,这两种模式都是为了使用者方便学习和调试Hadoop,要想发挥Hadoop分布式.并行处理的优势,还须以分布式模式来部署运行Hadoop.单机模 ...
最新文章
- WebView你真的熟悉吗?看了才知道
- 跟面试官聊到JVM,他99%会让你谈谈这个问题!
- 大家好,给大家介绍一下,这是我的智能伙伴…..
- javaone_虚拟化Java应用程序:最佳实践(JavaOne 2011)
- druid最大连接数oracle,性能超过DRUID的最强数据库连接池——HikariCP相关配置及简单示例...
- Linux命令之cut详解
- RK3399封装(CPU+GPU)Mali-T860 Codec架构(十六)
- gan网络损失函数_生成对抗网络的最新研究进展
- 【数学建模】历年数学建模国赛评价类题目汇总
- linux小红伞安装黑屏,在linux下安装Avria(小红伞)
- 测试显卡风扇的软件,让噪音远离,显卡风扇转速调节
- 如何一次性批量打印PDF、Word、Excel、PPT和图片 - 文件批量打印工具
- Python-pandas对excel筛选(分组)查询
- 李航老师统计学习方法答案汇总
- 企业微信上传临时素材文件
- CSS在线字体库,外部字体的引用方法@font-face
- 区别主要在于服务器对带宽的分配:
- Mockito使用详解
- beyond compare 2 中文乱码问题
- NanoDet目标检测新网络!比YOLO跑的还快
热门文章
- 【Android 逆向】Android 逆向通用工具开发 ( Android 平台运行的 cmd 程序类型 | Android 平台运行的 cmd 程序编译选项 | 编译 cmd 可执行程序 )
- 【Android 安全】使用 360 加固宝加固应用 ( 加固工具准备 | 生成签名 APK | 加固操作 | 反编译验证加固效果 )
- 【数据挖掘】数据挖掘简介 ( 数据挖掘引入 | KDD 流程 | 数据源要求 | 技术特点 )
- Directx11教程(14) D3D11管线(2)
- Mac下web自动化环境部署
- new Map的妙用
- 解决git提交时报“there are no staged files”
- Jzoj3931【NOIP2014day1官方数据】联合权值
- 八大排序算法的python实现(四)快速排序
- 201602021344_《Javascript柯里化uncurrying()(将内置方法独立成为一个通用方法)》