hadoop1.1.2集群安装指南
为什么80%的码农都做不了架构师?>>>
首先是基于伪分布的安装:
http://my.oschina.net/repine/blog/267698
如果你还不会,我想说:不太可能,加油!do it
构建hadoop集群
a>vmbox复制 或者vmware克隆 得到新的虚拟机
b>新建一个ip--Connection修改,然后固定一个ip值
c>修改主机名
1 修改hostname
(1)执行命令hostname cloud4 修改会话中的hostname
(2)验证:执行命令hostname
(3)执行命令vi /etc/sysconfig/network 修改文件中的hostname
(4)验证:执行命令reboot -h now 重启机器
2 设置ip与hostname绑定
(1)执行命令vi /etc/hosts
在文本最后增加一行192.168.80.101 cloud41
(2)验证:ping cloud4
(3)在window中配置:主机名对应的ip
C:\Windows\System32\drivers\etc\hosts
d> ssh免密码登陆
新建就要配置
//(1)执行命令ssh-keygen -t rsa (然后一路Enter) 产生秘钥位于/root/.ssh/
//(2)执行命令cp /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys 产生授权文件
//(3)验证:ssh localhost
如果克隆的直接下一步:
判断本系统是否密码配置成功:
ssh cloud4 (ssh 主机名)
(主节点把密码传到从节点)
ssh-copy-id -i cloud41
转到从节点
ssh cloud41
(从节点把密码传到主节点)
ssh-copy-id -i cloud4
e>复制主节点的jdk和hadoop到对方
(-r递归)
scp -r /usr/local/jdk cloud41:/usr/local
scp -r /usr/local/hadoop cloud41:/usr/local
scp /etc/profile cloud41:/etc
source /etc/profile 配置文件生效
f>修改 hadoop/conf/slaves来添加从节点
子节点可以是--------Slaves内容如下:
localhost(可要可不要,判断要不要主节点存放数据,一般dataNode放在从节点中)
cloud41,cloud42
g>在主节点启动,从节点不执行以下命令
格式化hadoop的namenode
hadoop namenode –format
start-all.sh
h>如果配置成功
主节点:
[root@cloud41 ~]# jps
4020 NameNode
4353 JobTracker
4466 TaskTracker
4508 Jps
4275 SecondaryNameNode
4154 DataNode
从节点:
[root@cloud41 ~]# jps
3286 TaskTracker
3352 Jps
3194 DataNode
i>新节点的加入:
1. 启动新节点:(datanode,tasktracker)
hadoop/bin
hadoop-daemon.sh start datanode
hadoop-daemon.sh start tasktracker
2. 在主节点重新获取从节点
hadoop dfsadmin –refreshNodes
3. 主节点设置负载均衡
hadoop/bin
(可选)在主节点上执行负载均衡命令 start-balance.sh
4.修改副本数
hadoop fs -setrep 2 /hello
5.修改安全模式状态
hadoop dfsadmin -safemode leave|enter|get (leave表示关闭安全模式)
转载于:https://my.oschina.net/repine/blog/270834
hadoop1.1.2集群安装指南相关推荐
- Elasticsearch2.3.4集群安装指南
Elasticsearch集群安装指南 该文档是建立在已经安装好JAVA JDK的基础上,并且已经设置好$JAVA_HOME环境变量.ElasticSearch这里基于2.3.4版本进行安装配置. 1 ...
- hadoop-1.2.0集群安装与配置
http://bbs.itcast.cn/thread-17487-1-1.html .硬件环境1.windows7旗舰版64位 2.VMwareWorkstationACE版6.0.2 3.Redh ...
- 看了后悔五分钟,不看后悔每分钟。Elasticsearch最新版本8.0的集群安装指南《嘴对嘴系列》
引言 前面我们基于Elasticsearch8.2版本,从环境安装,quick start,安全配置层层递进构建了一个基于VMware的虚拟机学习环境,并且安装了单机下的开发和生产模式的Elastic ...
- Greenplum数据库集群安装指南
Greenplum数据库集群安装文档 说明:本文档是在同事指导下,根据操作步骤以及自己理解所整理 ------阿莲 未说明服务器或者执行用户的地方均是在所有服务器上使用root用户执行一遍 一.安装前 ...
- mysql集群安装指南
环境说明 系统环境:CentOS 6.5 mini(64bit) 软件版本:mysql-cluster-advanced-7.3.7-linux-glibc2.5-x86_64.tar.gz IP地址 ...
- Hadoop1.2.1集群安装三
配置hadoop 1:下载hadoop-1.2.1.tar.gz 在/home/jifeng 创建目录 mkdir hadoop 2:解压 [jifeng@jifeng01 hadoop]$ ls ...
- 安装hadoop1.2.1集群环境
一.规划 (一)硬件资源 10.171.29.191 master 10.173.54.84 slave1 10.171.114.223 slave2 (二)基本资料 用户: jediael 目录 ...
- Hadoop1.2.1集群安装二
1:安装JDK 下载好jdk-7u45-linux-x64.gz 或从其它电脑copy过去 [jifeng@feng01 ~]$scp -r ./jdk-7u45-linux-x64.gz jifen ...
- hadoop 2.4.1 集群安装一
配置主机名参考 Hadoop 1.2.1 集群安装一 配置JDK环境参考Hadoop1.2.1集群安装二 配置hadoop A:下载解压hadoop http://mirrors.cnnic.cn/a ...
- 【Nutch2.3基础教程】集成Nutch/Hadoop/Hbase/Solr构建搜索引擎:安装及运行【集群环境】
1.下载相关软件,并解压 版本号如下: (1)apache-nutch-2.3 (2) hadoop-1.2.1 (3)hbase-0.92.1 (4)solr-4.9.0 并解压至/opt/jedi ...
最新文章
- 刘云鹏:大数据,让我离生活更近 | 优秀毕业生专访
- Packet Tracer 5.0实验(五) 快速生成树配置
- 遭遇“HTTP 错误 500.19 无法访问请求的页面,因为该页的相关配置数据无效。”...
- 第七章-NoSQL数据库
- USTC English Club Note20211215
- Linux-0.00 代码解析(四)
- 机器学习中的聚类方法总结
- knockout.js的学习笔记3
- 使用Objective-C的+(void)initialize初始化static变量
- 基于51单片机步进电机proteus仿真
- 解决Invalid bound statement (not found): com.hengjun.mapper.UserMapper.selectByExample,
- python——t检验和ks检验
- 密码破解---实验七:本地系统密码破解
- Simulink 环境基础知识(五)--编程建模基础知识
- Golang zip流式解析器
- [《Python2.1宝典》笔记] 12-14章
- Android怎样实现控制第三方音乐播放器暂停、播放
- C2_W1_Lab01_Neurons_and_Layers
- 【MagNet】《Progressive Semantic Segmentation》
- Intel Altera PCIE IP介绍