hadoop集群的搭建与配置(2)
对解压过后的文件进行从命名
把"/usr/hadoop"读权限分配给hadoop用户(非常重要)
配置完之后我们要创建一个tmp文件供以后的使用
然后对我们的hadoop进行配置文件的配置
vim /etc/profile
最下边的两行就是我们的hadoop文件的配置内容
重新启动配置文件。
之后要配置hadoop的hadoop-env.sh文件
添加如下内容、
保存退出即可
我们接下来要配置core-site.xml、hdfs-site.xml、mapred-site.xml三个文件了。
通过命令
对文件进行编辑
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<!-- file system properties -->
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.9.199:9000</value>
</property>
</configuration>
同样的方法编辑hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<configuration>
注解:因为只有一台Slave1所以配置value为1
编辑mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>http://192.168.9.199:9001</value>
</property>
</configuration>
在我们的Master和Slave1上都要进行master主服务器ip地址的配置
把我们的master的ip地址写入进去,这里在Master服务器和Slave1上都是要配置的
通过一下方式我们可以查看配置的效果
这个时候我们发现配置已经成功了
下面我们还要在我们的主服务器上进行特殊的配置(只有主服务器才进行该配置)
把我们的Slave1的服务器ip地址写入,有几台从服务器就要写入几次。
可以通过
查看我们配置的效果。
同样的道理我们也要在Slave1上进行hadoop的配置,这样才能把环境搭建好,通过以上的四部,进本是所有的需要的配置我们已经搭建完毕了。
(注解中间的配置有些地方是借鉴的博客园里的图片,跟真事的稍微有差别,到时候如果进行hadoop集群的搭建最好是去博客园把他的博客系列简单看看,不然只看我的配置,可能会中间出现不少问题,如果linux基础好的话,上手更快,一般都要花上至少三天的时间来完成两台服务器的搭建的呢)
配置完成之后下面就是要做hadoop的启动了
1)格式化HDFS文件系统
在"Master.Hadoop"上使用普通用户hadoop进行操作。(备注:只需一次,下次启动不再需要格式化,只需 start-all.sh)
这个时候我们的的格式化已经成功了,但是有一个警告,可以在网上查一下简单的配置就解决了。
2)启动hadoop
在启动前关闭集群中所有机器的防火墙,不然会出现datanode开后又自动关闭。
service iptables stop
关闭防火墙。
使用下面的命令进行启动
start-all.sh
以上工作做完之后没有问题的话我们的hadoop就算是正式启动成功了。
下面我们可以通过两个命令查看是否成功
第一种方式
第二种方式
这个时候都看一看出来我们的配置已经成功了。
我们还可以通过访问我们的Master的ip地址在浏览器中查看我们的集群的情况
访问"http:192.168.9.199:50030"
访问"http:192.168.9.199:50070"
转载于:https://www.cnblogs.com/xiaoxutongxue/p/3501814.html
hadoop集群的搭建与配置(2)相关推荐
- hadoop集群环境搭建准备工作
一定要注意hadoop和linux系统的位数一定要相同,就是说如果hadoop是32位的,linux系统也一定要安装32位的. 准备工作: 1 首先在VMware中建立6台虚拟机(配置默认即可).这是 ...
- hadoop集群的搭建(分布式安装)
集群 计算机集群是一种计算机系统,他通过一组松散集成的计算机软件和硬件连接起来高度紧密地协同完成计算工作. 集群系统中的单个计算机通常称为节点,通常通过局域网连接. 集群技术的特点: 1.通过多台计算 ...
- 虚拟机Centos系统下hadoop集群中静态IP配置
为了学习大数据,然后想在自己的电脑的虚拟机上搭建hadoop集群,搭建了一段时间,我才发现CentOS系统的静态IP设置是十分有必要的.我的hadoop集群只有两个节点,一个master,另一个是sl ...
- 第一篇:mysqlcluster数据库集群的搭建和配置
当系统的规模达到一定程度后,数据库在系统中慢慢成为一个瓶颈,因此需要对数据库进行扩展.数据库集群时一种解决数据库负荷的有效手段,本篇主要是描述了数据库集群如何搭建和配置的过程. 一.mysql集群的规 ...
- hadoop集群_Ambari搭建hadoop集群
Ambari搭建hadoop集群 Ambari提供了对Hadoop更加方便快捷的管理功能,主要包含: 通过一步一步的安装向导简化了集群供应. 预先配置好关键的运维指标(metrics),可以直接查看H ...
- 学习笔记Hadoop(五)—— Hadoop集群的安装与部署(2)—— Hadoop集群部署模式、配置固定IP
一.Hadoop集群部署模式 Hadoop的安装部署的模式一共有三种: 独立模式(本地模式) standalone 默认的模式,无需运行任何守护进程(daemon),所有程序都在单个JVM上执行.由于 ...
- Hadoop集群环境搭建之伪分布式搭建流程
关防火墙 1.首先关闭window防火墙 service iptables status 查看Linux 防火墙状态 service iptables stop 关闭Linux防火墙 chkconfi ...
- 大数据 -- Hadoop集群环境搭建
首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统.它其实是将一个大文件分成若干块保存在不同服务器的多个节点中.通过联网 ...
- 在Hadoop集群上,搭建HBase集群
(1)下载Hbase包,并解压:这里下载的是0.98.4版本,对应的hadoop-1.2.1集群 (2)覆盖相关的包:在这个版本里,Hbase刚好和Hadoop集群完美配合,不需要进行覆盖. 不过这里 ...
- CDH版本Hadoop集群环境搭建详解
CDH版本Hadoop集群搭建 1.CDH版本hadoop重新编译 1.1 为什么要编译? 1.2 编译环境的准备 1.3 进行编译 2.CDH版本的zookeeper环境搭建 2.1 zookeep ...
最新文章
- 查看mysql编译参数
- Windows Server 排错和发帖求助必读
- 关于Java里面File类创建txt文件重复???
- 【SVM】A Practical Guide to Support Vector Classication
- cvpr2018论文阅读
- android 表情退格,讯飞输入法Android V8.1.8212 嘘-别说话全套emoji表情上
- AI 又进阶!除了鉴别 PS 图片,还能一键卸妆!
- HEVC---xCompressCU()函数作用及位置
- UVA1200 LA2972 POJ2295 ZOJ2492 A DP Problem【输入】
- OpenCV Contours 使用记录
- CF 570D. Tree Requests [dsu on tree]
- 【视觉SLAM14讲】【汇总】
- jquery查子元素
- python的help函数如何使用
- uni-app项目Android离线打包UrlSchemes设置
- c#中计算三角形面积公式_高中数学|向量公式之用平面向量求三角形面积
- 摄像头、麦克风、耳麦免费在线检测(各种外设的在线检测网站)
- 自定义EL表达式的函数
- 一文读懂C++的if与else判断语句
- Office 彻底卸载
热门文章
- 福气太薄,刚积攒了点又被自己扔了
- C中常量数组不能修改
- 由数字规律谈历史的前定
- Java cmd常用命令_java cmd常用命令
- script setup 影响methods选项导出函数
- data image转换图片php,PHP 将dataurl转成图片image方法总结
- 寻找亚马逊测评师邮箱_亚马逊测评怎么做,做亚马逊测评买家号怎么做?
- python x 0b1011_python基础语法和进制
- springboot实现权限列表_SpringBoot+shiro+mybatis+Thymeleaf实现权限登录
- Libnet核心数据结构