【Hadoop 分布式部署 五:分布式部署之分发、基本测试及监控】
1.对 hadoop 进行格式化
到 /opt/app/hadoop-2.5.0 目录下 执行命令: bin/hdfs namenode -format
执行的效果图如下 ( 下图成功 格式化 不要没事格式化 )
2.启动dfs
执行命令(在 /opt/app/hadoop-2.5.0/目录下): sbin/start-dfs.sh
执行之后的效果就如下图 (可以看到 3个DataNode已经启动起来了,NameNode 和 secondarynamenode 也已经启动起来了)
然后在分别上这三台机器上查看一下启动情况
节点一(hadoop-senior.zuoayn.com)
节点二 (hadoop-senior02.zuoyan.com)
节点三(Hadoop-senior03.zuoyan.com)
可以看到 每个节点上执行的任务 都是我们当时设计的,我的这种情况是比较幸运的没有出现什么错误,都启动起来了,但是有的时候会出现
:Temporary failure in name resolutionop-senior02.zuoyan.com
:Temporary failure in name resolutionop-senior.zuoyan.com
出现这个原因是因为 拷贝虚拟机出现的问题 出现这种情况的原因 就是域名解析问题 机器重启 ,还有另一种方式解决
就是到每个机器上单独去启动 使用命令 :sbin/hadoop-daemon.sh start datanode
通过浏览器打开查看一下启动情况:
输入网址:http://hadoop-senior.zuoyan.com:50070(这里也就是第一个主机的ip地址,因为我映射到了windows的hosts中,所以也能通过这个主机名访问)
点击主页的 LiveNodes 就可以看见如下的界面
这个界面上显示的就是我们的节点
使用一些命令进行测试一下
创建目录命令: bin/hdfs dfs -mkdir -p /user/beifeng/tmp/conf
上传文件命令: bin/hdfs dfs -put /etc/hadoop/*.-site.xml /user/beifeng/tmp/conf
读取文件命令: bin/hdfs dfs -text /user/beifeng/tmp/conf/core-site.xml (下图就是成功的读取出来了)
3.启动yarn
(在/opt/app/hadoop-2.5.0 的目录下 ) 使用命令: sbin/start-yarn.sh
在启动yarn的时候我的出先了一个问题 就是resourcemanager 启动不起来 不论是在 第一个节点上看,还是在第二个节点上看 都没有resourcemanager
日志信息如下
最终在开源中国上查找到了解决方案
Namenode和ResourceManger如果不是同一台机器,不能在NameNode上启动 yarn,应该在ResouceManager所在的机器上启动yarn。
4.测试Mapreduce程序
首先创建一个目录用来存放输入数据 命令: bin/hdfs dfs -mkdir -p /user/beifeng/mapreduce/wordcount/input
上传文件到文件系统上去 命令:bin/hdfs dfs -put /opt/modules/hadoop-2.5.0/wc.input /user/beifeng/mapreduce/wordcount/input
使用命令查看一下文件是否上传成功 命令:bin/hdfs dfs -ls /user/beifeng/mapreduce/wordcount/input (可以看到wc.input 已经在这个目录下)
完成准备工作之后 就开始使用 yarn 来运行wordcount 程序
命令: bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /user/beifeng/mapreduce/wordcount/input /user/beifeng/mapreduce/wordcount/output
程序已经开始在机器上运行了
从WEB页面上看到的效果
最后在使用hdfs 的命令来查看一下 wordcount 统计的结果 命令 :bin/hdfs -dfs -text /user/beifeng/mapreduce/wordcount/output/part*
到此 配置结束,但是剩下的还有 环境问题解决 和 集群基础测试
转载于:https://www.cnblogs.com/kangxinxin/p/9726811.html
【Hadoop 分布式部署 五:分布式部署之分发、基本测试及监控】相关推荐
- 用 Hadoop 进行分布式并行编程, 第 3 部分 部署到分布式环境
一 前言 在本系列文章的第一篇:用 Hadoop 进行分布式并行编程,第 1 部分: 基本概念与安装部署中,介绍了 MapReduce 计算模型,分布式文件系统 HDFS,分布式并行计算等的基本原理, ...
- Hadoop集群完全分布式模式环境部署
Hadoop集群完全分布式模式环境部署 2013-09-13 17:24:14 分类: HADOOP Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop ...
- day70-大数据之Hadoop部署1(单机部署与伪分布式部署)
大数据基础平台实施及运维 一.大数据介绍 学习目标 能够了解为什么使用大数据技术 能够了解大数据指的是什么 1. 为什么使用大数据技术? 数据量越来越大 数据分析的实时性越来越强 数据结果的应用越来越 ...
- 记一次 基于Hadoop 3.3.0 安装部署 Spark 3.0.0 分布式集群
一.基本信息 官网 http://spark.apache.org/ Apache Spark 官方文档中文版(Spark 2.2.0) http://spark.apachecn.org/#/ Sp ...
- 一文搞定FastDFS分布式文件系统配置与部署
Ubuntu下FastDFS分布式文件系统配置与部署 白宁超 2017年4月15日09:11:52 摘要: FastDFS是一个开源的轻量级分布式文件系统,功能包括:文件存储.文件同步.文件访问(文件 ...
- HBase 1.2.6 完全分布式集群安装部署详细过程
2019独角兽企业重金招聘Python工程师标准>>> Apache HBase 是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,是NoSQL数据库,基于Google Big ...
- GFS分布式文件系统简介及部署——让存储变得更高级
GFS分布式文件系统简介及部署 一.GFS概述 1.文件系统 ①.文件系统组成 ②.文件系统的作用 ③.专业术语 二.GFS特点 三.GFS工作原理 四.GFS卷 1.GFS卷类型 2.三大基本卷的特 ...
- SolrCloud 分布式集群安装部署(solr4.8.1 + zookeeper +tomcat)
SolrCloud 分布式集群安装部署 安装软件包准备 · apache-tomcat-7.0.54 · jdk1.7 · solr-4.8.1 · zookeeper-3.4.5 注:以上软件都是基 ...
- 部署Ceph分布式高可用集群中篇
前言 如何快速部署Ceph分布式高可用集群 Ceph分布式存储底层实现原理 上文介绍了ceph的原理以及ceph的部署(部署了一个mon角色)本文继续介绍下ceph的部署 部署OSD 查看磁盘使用情况 ...
- FastDFS分布式文件系统配置与部署
一文搞定FastDFS分布式文件系统配置与部署 阅读目录 1 分布式文件系统介绍 2 系统架构介绍 3 FastDFS性能方案 4 Linux基本命令操作 5 安装VirtualBox虚拟机并配置Ub ...
最新文章
- 计算机不能启动 如何排除故障,开工发现电脑无法开机 如何排查故障?
- C语言学习笔记(五) 数组
- Java内部类与静态内部类
- 图文解说:Nginx+tomcat配置集群负载均衡
- 教你如何做出自己想要的PHP Docker镜像
- Vue 中的列表渲染
- 4. Jmeter主界面的介绍
- 德赛西威领投智驾科技B轮3亿元,加速智能驾驶人人可享
- c语言编写克莱姆法则,求克莱姆法则解方程组的c语言代码,能正确运行的
- 计算机专业寒假打工大一,大一学生寒假打工心得3篇
- 推荐5个4K视频下载网站 (百万优质资源)
- python如何调用math函数库函数_Python math函数库
- Vuforia开发问题记录(四)------- Vuforia AR项目在小米8 SE上运行黑屏
- ocx请确保该二进制存储在指定的路径中_模块*.ocx加载失败,请确保二进制存储在指定路径中...
- idea中开启多个线程运行多个项目
- 计算机ip地址无法修改密码,修改wifi密码网址进不去怎么办?
- 我学习从事项目经理第二个课
- C++无名命名空间详解
- 无线摄像头接有线如何改协议_家用摄像头安装有啥需要注意的地方?
- 六问Chatgpt,小白如何在短时间内写出人生中第一个爬虫程序?
热门文章
- Windows环境配置Anaconda+cuda+cuDNN+pytorch+jupyter notebook
- python c 混合编程 用c循环_混合编程:用 C 语言来扩展 Python 大法吧!
- 计算机应用基础随堂,《计算机应用基础》随堂题库
- 哪个网站是计算机知识的,电脑知识网站
- 【uniapp】 下拉刷新页面
- php json csv,比JSON更简单,随便记数据的CSV介绍,以及PHP解析方法-csv文件怎么打开...
- 三菱gx软件初始化失败怎么解决_三菱PLC的常见问题大全!
- android 仿微信选取相册_Android 仿微信 相册多图选择器
- python代码_如何使用 Sphinx 给 Python 代码写文档
- matlab中rms代表什么_工业铝型材名称中夹杂的字母含义代表什么