2019独角兽企业重金招聘Python工程师标准>>>

4.测试Hadoop分布式集群环境；

首先在通过Master节点格式化集群的文件系统：

输入“Y”完成格式化：

格式化完成以后，我们启动hadoop集群

我们在尝试一下停止Hadoop集群：

此时出现了“no datanode to stop”的错误，出现这种错误的原因如下：

每次使用 “hadoop namenode -format”命令格式化文件系统的时候会出现一个新的namenodeId，而我我们在搭建Hadoop单机伪分布式版本的时候往我们自己创建的tmp目录下放了数据，现在需要把各台机器上的“/usr/local/hadoop/hadoop-1.2.1/”下面的tmp及其子目录的内容清空，于此同时把“/tmp”目录下的与hadoop相关的内容都清空，最后要把我们自定义的hdfs文件夹中的data和name文件夹中的内容清空：

把Slave1和Slave2中同样的内容均删除掉。

重新格式化并重新启动集群，此时进入Master的Web控制台：

此时可以看到Live  Nodes只有三个，这正是我们预期的，因为我们Master、Slave1、Slave2都设置成为了DataNode，当然Master本身同时也是NameNode。

此时我们通过JPS命令查看一下三台机器中的进程信息：

发现Hadoop集群的各种服务都正常启动。

至此，Hadoop集群构建完毕。

转载于:https://my.oschina.net/u/1791057/blog/309465

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第二步）（4）...相关推荐

  1. 【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第1节 ①...

    2019独角兽企业重金招聘Python工程师标准>>> 一.MapReduce已死,Spark称霸 由于Hadoop的MapReduce高延迟的死穴,导致Hadoop无力处理很多对时 ...

  2. 【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第2节②...

    2019独角兽企业重金招聘Python工程师标准>>> 三, Spark的RDD 在Spark中一切都是以RDD为基础和核心的: 每个RDD的API如下所示: Spark官方文档中给 ...

  3. 【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第3小节(2)

    2019独角兽企业重金招聘Python工程师标准>>> 3,动手实战Scala中的泛型 泛型泛型类和泛型方法,也就是我们实例化类或者调用方法的时候可以指定其类型,由于Scala的泛型 ...

  4. 【Spark亚太研究院系列丛书】Spark实战高手之-构建Spark集群-安装Ubuntu系统(3)

    2019独角兽企业重金招聘Python工程师标准>>> 启动虚拟机,正是开启Ubuntu系统的安装! 点击"Power on this virtual machine&qu ...

  5. Python编程高手之路——第一章：用户交互

    一.编程入门 1.编程语言的划分 编程语言分为机器语言.汇编语言.高级语言 1.1 机器语言 机器语言是用二进制数字0和1进行编程,机器语言是人站在计算机的角度去编程,编程开发效率低,程序运行效率高. ...

  6. 王家林 云计算分布式大数据Hadoop实战高手之路第七讲Hadoop图文训练课程：通过HDFS的心跳来测试replication具体的工作机制和流程...

    这一讲主要深入使用HDFS命令行工具操作Hadoop分布式集群,主要是通过实验的配置hdfs-site.xml文件的心跳来测试replication具体的工作和流程. 通过HDFS的心跳来测试repl ...

  7. 王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第五讲Hadoop图文训练课程：解决典型Hadoop分布式集群环境搭建问题

    王家林的"云计算分布式大数据Hadoop实战高手之路---从零开始"的第五讲Hadoop图文训练课程:解决典型Hadoop分布式集群环境搭建问题 参考文章: (1)王家林的&quo ...

  8. Rasa 3.X 智能对话机器人案例开发硬核实战高手之路 （7大项目Expert版本）

    课程标题:Rasa 3.X 智能对话机器人案例开发硬核实战高手之路(7大项目Expert版本) 课程关键字:Rasa Application.Debugging.E-commerce.Retail.C ...

  9. .NET Core实战项目之CMS 第一章 入门篇-开篇及总体规划

    写在前面 千呼万唤始出来,首先,请允许我长吸一口气!真没想到一份来自28岁老程序员的自白 这篇文章会这么火,更没想到的是张善友队长的公众号居然也转载了这篇文章,这就导致两天的时间就有两百多位读者朋友加 ...

最新文章

  1. 自己动手实现OpenGL！
  2. 详解Python第三方库（三）----- Pillow库
  3. C语言中兴面试编程题,中兴一套笔试题及部分答案
  4. 区分range() , np.arange() , np.linspace()
  5. C语言 Win静态库
  6. Android UI控件之Gallery(拖动效果) --拖动式图片浏览
  7. 高级着色语言HLSL入门（1）
  8. Caused by: java.lang.IllegalArgumentException: @EnableAsync annotation metadata was not injected
  9. 苹果CMSV10好看的模板灰黑色爱看影院自适应炫酷黑模板
  10. 2008 php mysql_Windows Server 2008 R2 IIS7.5+PHP5（FastCGI）+MySQL5环境搭建教程
  11. 因子分析的实用介绍:探索性因子分析
  12. Tableau安装详解及密钥申请
  13. 英文书籍下载常用网站
  14. android实战:密码箱一
  15. song -接小球游戏1
  16. 2tb的硬盘容量在计算机中识别的容量为,硬盘容量限制又来了，用2T以上硬盘的要注意了...
  17. PNG透明图片在IE浏览器中正确显示
  18. linux 下dump的使用
  19. postgresql扩展Geometry类型
  20. arduino与蓝牙模块

热门文章

  1. Java字符串就该这样设计
  2. 大话：边缘计算、雾计算、云计算
  3. Laravel 传递数据到视图
  4. 吴恩达机器学习笔记-梯度下降
  5. BZOJ 1091([SCOI2003]分割多边形-分割直线)
  6. List（JDK1.7）（1）
  7. Script:优化crs_stat命令的输出
  8. 第10课--10_04_LVM之二
  9. Python-SQLAlchemy：第4节：级联
  10. 人工智能算法通俗讲解系列(二)：逻辑回归