1.对  hadoop 进行格式化

    到  /opt/app/hadoop-2.5.0  目录下  执行命令:    bin/hdfs namenode -format

      执行的效果图如下  (  下图成功   格式化     不要没事格式化  )

              

2.启动dfs

   执行命令(在  /opt/app/hadoop-2.5.0/目录下):    sbin/start-dfs.sh

      执行之后的效果就如下图 (可以看到  3个DataNode已经启动起来了,NameNode  和 secondarynamenode 也已经启动起来了)

      

      然后在分别上这三台机器上查看一下启动情况

      节点一(hadoop-senior.zuoayn.com)

      

       节点二 (hadoop-senior02.zuoyan.com)

      

      节点三(Hadoop-senior03.zuoyan.com)

      

      可以看到 每个节点上执行的任务  都是我们当时设计的,我的这种情况是比较幸运的没有出现什么错误,都启动起来了,但是有的时候会出现

      :Temporary  failure in name resolutionop-senior02.zuoyan.com

      :Temporary  failure in name resolutionop-senior.zuoyan.com

      出现这个原因是因为 拷贝虚拟机出现的问题  出现这种情况的原因 就是域名解析问题   机器重启  ,还有另一种方式解决

      就是到每个机器上单独去启动   使用命令 :sbin/hadoop-daemon.sh start datanode

     

通过浏览器打开查看一下启动情况:

      输入网址:http://hadoop-senior.zuoyan.com:50070(这里也就是第一个主机的ip地址,因为我映射到了windows的hosts中,所以也能通过这个主机名访问)

       点击主页的  LiveNodes  就可以看见如下的界面

       这个界面上显示的就是我们的节点

            

使用一些命令进行测试一下

        创建目录命令:    bin/hdfs  dfs -mkdir -p /user/beifeng/tmp/conf

        

        上传文件命令:   bin/hdfs dfs -put /etc/hadoop/*.-site.xml  /user/beifeng/tmp/conf

        

读取文件命令:   bin/hdfs dfs -text /user/beifeng/tmp/conf/core-site.xml   (下图就是成功的读取出来了)

        

        

        

3.启动yarn

    (在/opt/app/hadoop-2.5.0 的目录下  )   使用命令:  sbin/start-yarn.sh

    

    在启动yarn的时候我的出先了一个问题  就是resourcemanager  启动不起来  不论是在  第一个节点上看,还是在第二个节点上看  都没有resourcemanager

     

      日志信息如下

      

       最终在开源中国上查找到了解决方案

        Namenode和ResourceManger如果不是同一台机器,不能在NameNode上启动 yarn,应该在ResouceManager所在的机器上启动yarn。

4.测试Mapreduce程序

        首先创建一个目录用来存放输入数据  命令:    bin/hdfs dfs -mkdir -p /user/beifeng/mapreduce/wordcount/input

        

        上传文件到文件系统上去  命令:bin/hdfs dfs -put /opt/modules/hadoop-2.5.0/wc.input /user/beifeng/mapreduce/wordcount/input

         

        使用命令查看一下文件是否上传成功 命令:bin/hdfs dfs -ls /user/beifeng/mapreduce/wordcount/input   (可以看到wc.input 已经在这个目录下)

          

        

        完成准备工作之后  就开始使用 yarn 来运行wordcount 程序

        命令: bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /user/beifeng/mapreduce/wordcount/input    /user/beifeng/mapreduce/wordcount/output

        程序已经开始在机器上运行了

        

        

        从WEB页面上看到的效果

        

        

        最后在使用hdfs 的命令来查看一下   wordcount 统计的结果  命令 :bin/hdfs -dfs -text /user/beifeng/mapreduce/wordcount/output/part*

        

        

到此  配置结束,但是剩下的还有 环境问题解决  和  集群基础测试

    

        

        

        

        

  

      

转载于:https://www.cnblogs.com/kangxinxin/p/9726811.html

【Hadoop 分布式部署 五:分布式部署之分发、基本测试及监控】相关推荐

  1. 用 Hadoop 进行分布式并行编程, 第 3 部分 部署到分布式环境

    一 前言 在本系列文章的第一篇:用 Hadoop 进行分布式并行编程,第 1 部分: 基本概念与安装部署中,介绍了 MapReduce 计算模型,分布式文件系统 HDFS,分布式并行计算等的基本原理, ...

  2. Hadoop集群完全分布式模式环境部署

    Hadoop集群完全分布式模式环境部署 2013-09-13 17:24:14 分类: HADOOP Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop ...

  3. day70-大数据之Hadoop部署1(单机部署与伪分布式部署)

    大数据基础平台实施及运维 一.大数据介绍 学习目标 能够了解为什么使用大数据技术 能够了解大数据指的是什么 1. 为什么使用大数据技术? 数据量越来越大 数据分析的实时性越来越强 数据结果的应用越来越 ...

  4. 记一次 基于Hadoop 3.3.0 安装部署 Spark 3.0.0 分布式集群

    一.基本信息 官网 http://spark.apache.org/ Apache Spark 官方文档中文版(Spark 2.2.0) http://spark.apachecn.org/#/ Sp ...

  5. 一文搞定FastDFS分布式文件系统配置与部署

    Ubuntu下FastDFS分布式文件系统配置与部署 白宁超 2017年4月15日09:11:52 摘要: FastDFS是一个开源的轻量级分布式文件系统,功能包括:文件存储.文件同步.文件访问(文件 ...

  6. HBase 1.2.6 完全分布式集群安装部署详细过程

    2019独角兽企业重金招聘Python工程师标准>>> Apache HBase 是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,是NoSQL数据库,基于Google Big ...

  7. GFS分布式文件系统简介及部署——让存储变得更高级

    GFS分布式文件系统简介及部署 一.GFS概述 1.文件系统 ①.文件系统组成 ②.文件系统的作用 ③.专业术语 二.GFS特点 三.GFS工作原理 四.GFS卷 1.GFS卷类型 2.三大基本卷的特 ...

  8. SolrCloud 分布式集群安装部署(solr4.8.1 + zookeeper +tomcat)

    SolrCloud 分布式集群安装部署 安装软件包准备 · apache-tomcat-7.0.54 · jdk1.7 · solr-4.8.1 · zookeeper-3.4.5 注:以上软件都是基 ...

  9. 部署Ceph分布式高可用集群中篇

    前言 如何快速部署Ceph分布式高可用集群 Ceph分布式存储底层实现原理 上文介绍了ceph的原理以及ceph的部署(部署了一个mon角色)本文继续介绍下ceph的部署 部署OSD 查看磁盘使用情况 ...

  10. FastDFS分布式文件系统配置与部署

    一文搞定FastDFS分布式文件系统配置与部署 阅读目录 1 分布式文件系统介绍 2 系统架构介绍 3 FastDFS性能方案 4 Linux基本命令操作 5 安装VirtualBox虚拟机并配置Ub ...

最新文章

  1. 计算机不能启动 如何排除故障,开工发现电脑无法开机 如何排查故障?
  2. C语言学习笔记(五) 数组
  3. Java内部类与静态内部类
  4. 图文解说:Nginx+tomcat配置集群负载均衡
  5. 教你如何做出自己想要的PHP Docker镜像
  6. Vue 中的列表渲染
  7. 4. Jmeter主界面的介绍
  8. 德赛西威领投智驾科技B轮3亿元,加速智能驾驶人人可享
  9. c语言编写克莱姆法则,求克莱姆法则解方程组的c语言代码,能正确运行的
  10. 计算机专业寒假打工大一,大一学生寒假打工心得3篇
  11. 推荐5个4K视频下载网站 (百万优质资源)
  12. python如何调用math函数库函数_Python math函数库
  13. Vuforia开发问题记录(四)------- Vuforia AR项目在小米8 SE上运行黑屏
  14. ocx请确保该二进制存储在指定的路径中_模块*.ocx加载失败,请确保二进制存储在指定路径中...
  15. idea中开启多个线程运行多个项目
  16. 计算机ip地址无法修改密码,修改wifi密码网址进不去怎么办?
  17. 我学习从事项目经理第二个课
  18. C++无名命名空间详解
  19. 无线摄像头接有线如何改协议_家用摄像头安装有啥需要注意的地方?
  20. 六问Chatgpt,小白如何在短时间内写出人生中第一个爬虫程序?

热门文章

  1. Windows环境配置Anaconda+cuda+cuDNN+pytorch+jupyter notebook
  2. python c 混合编程 用c循环_混合编程:用 C 语言来扩展 Python 大法吧!
  3. 计算机应用基础随堂,《计算机应用基础》随堂题库
  4. 哪个网站是计算机知识的,电脑知识网站
  5. 【uniapp】 下拉刷新页面
  6. php json csv,比JSON更简单,随便记数据的CSV介绍,以及PHP解析方法-csv文件怎么打开...
  7. 三菱gx软件初始化失败怎么解决_三菱PLC的常见问题大全!
  8. android 仿微信选取相册_Android 仿微信 相册多图选择器
  9. python代码_如何使用 Sphinx 给 Python 代码写文档
  10. matlab中rms代表什么_工业铝型材名称中夹杂的字母含义代表什么