Hadoop集群启动顺序为：

如果Hadoop集群是第一次启动，可以用start-all.sh。比较常用的启动方式是一个一个守护进程来启动，启动的步骤如下。

（大方向是yarn on hdfs 所以先启动节点再启动MapReduce的）

1、启动Hadoop的HDFS模块里的守护进程(start-dfs.sh)

HDFS里面的守护进程启动也有顺序，即：

①启动NameNode守护进程。

②启动DataNode守护进程。

③启动SecondaryNameNode守护进程。

2、启动MapReduce模块里面的守护进程(start-yarn.sh)

MapReduce的守护进程启动也是有顺序的，即：

①启动 JobTracker守护进程。

②启动TaskTracker守护进程。

2．启动MapReduce模块里面的守护进程(start-yarn.sh)

3、启动日志进程(mr-jobhistory-daemon.sh start historyserver)

******************************************************************************************************************

关闭集群的顺序与启动Hadoop的顺序相反：

关闭MapReduce模块里面的守护进程(stop-yarn.sh)
关闭Hadoop的HDFS模块里的守护进程(stop-dfs.sh)
关闭日志进程(mr-jobhistory-daemon.sh stop historyserver)

**************************************************************************************************************************

yarn的监控界面默认端口号master:8088 注：在yarn-site.xml中设置

hdfs的监控界面默认端口号master:50070 注：在hdfs-site.xml中设置

*********************************************************************************************************************

hdfs基本命令：

查询hdfs信息方式

hdfs dfsadmin -report [-live] [-dead] [-decommisioning]

// llive 查看在线、dead查看挂掉的节点、decommisssioning查看停掉的节点及其相关数据的统计

在hdfs上创建目录

hdfs dfs -mkdir -p /user/test/example //不带p创建多级目录会失败
hdfs dfs -rm /user/test/example //删除

将本地文件拷贝到hdfs系统上去

hdfs dfs -copyFromLocal a.txt /user/data //将当前目录下的a.txt 拷贝到hdfs文件系统的 /user/data 下
- hdfs dfs -copyToLocal /user/data/a.txt . //从HDFS拷贝到本地当前目录
- hdfs dfs -get /user/data/a.txt . //同上
hdfs dfs -moveFromLocal a.txt /user/data //移动
hdfs dfs -put a.txt /user/data //上传
hdfs dfs -cat /user/data/a.txt //查看
hdfs dfs -tail /user/data/a.txt //查看文件的最后1024字节

hadoop大数据基础复习笔记-day1相关推荐

Hadoop大数据技术复习资料
Hadoop大数据技术复习资料钟兴宇 1.选择题15空,共30分. Hadoop以HDFS(Hadoop Distributed File System,Hadoop 分布式文件系统)和MapR ...
Hadoop大数据基础知识点总结--持续更新
什么是大数据数据量很大的数据就是大数据数据集的大小已经远远超过了现有传统的技术方案(数据库)或工具可以处理能力的数据大数据的特点海量化数据量大 TB ---> PB 多样化数据类型复杂多 ...
学习hadoop大数据基础框架需要什么基础
什么是大数据?进入本世纪以来,尤其是2010年之后,随着互联网特别是移动互联网的发展,数据的增长呈爆炸趋势,已经很难估计全世界的电子设备中存储的数据到底有多少,描述数据系统的数据量的计量单位从MB(1 ...
Hadoop 大数据学习笔记
Hadoop 大数据学习笔记1 大数据部门组织架构 Hadoop Hadoop是什么 Hadoop的优势 Hadoop的组成 HDFS架构 YARN架构 MapReduce 大数据技术生态体系![在这 ...
Hadoop大数据零基础高端实战培训系列配文本挖掘项目
<Hadoop大数据零基础高端实战培训系列配文本挖掘项目(七大亮点.十大目标)> 课程讲师:迪伦课程分类:大数据适合人群:初级课时数量:230课时用到技术:部署Hadoop集群涉 ...
大数据基础系列 5：Hadoop 实验——熟悉常用的 HDFS 目录操作和文件操作
文章目录前言一.实验目的二.实验平台三.实验内容和要求 3.1.HDFS 目录操作 3.1.1.创建用户目录 3.1.2.显示 HDFS 中与当前用户对应的目录内容 3.1.3.列出 HDFS ...
大数据基础系列 4：伪分布式 Hadoop 在 Ubuntu 上的安装流程完整步骤及易错点分析
文章目录前言一.创建 Ubuntu 用户二.安装 Java 2.1.查看本地 Java 版本 2.2.验证 Java 在本地的配置情况三.安装 ssh 服务 3.1.安装 openssh-se ...
大数据基础——Hadoop大数据平台搭建
文章目录前言 Hadoop大数据平台搭建一．Hadoop原理和功能介绍二．Hadoop安装部署三．Hadoop常用操作总结前言分布式机器学习为什么需求大数据呢?随着海量用户数据的积累,单 ...
大数据基础之Hadoop（三）—— MapReduce
作者:duktig 博客:https://duktig.cn (文章首发) 优秀还努力.愿你付出甘之如饴,所得归于欢喜. 本篇文章源码参看:https://github.com/duktig666/b ...

hadoop大数据基础复习笔记-day1