大数据学习笔记之一：Hadoop 常用指令集合与启动注意项

常用指令集合：

0. 配置 Hadoop 的 PATH 变量：

vim ~/.bashrc
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

1. 启动 Hadoop：

start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

未设置 Hadoop 全局变量，则如下启动：

cd usr/local/hadoop/ （Hadoop 安装目录）
./sbin/start-dfs.sh
./sbin/start-yarn.sh

2. 关闭 Hadoop：

stop-yarn.sh
stop-dfs.sh
mr-jobhistory-daemon.sh stop historyserver

未设置 Hadoop 全局变量，则如下关闭：

cd usr/local/hadoop/ （Hadoop 安装目录）
./sbin/stop-dfs.sh
./sbin/stop-yarn.sh

3. 查看 Hadoop 版本：

hadoop version

未设置 Hadoop 全局变量，则如下查看：

cd usr/local/hadoop/ （Hadoop 安装目录）
./bin/hadoop version

4. 查看日志输出地址：

/usr/local/hadoop/（Hadoop 安装目录）logs/hadoop-hadoop-namenode-Master.out

5. 查看当前进程：

jps

注：

1. 连接无线网时，IP 地址可能会变；每次启动时先检查IP地址；
2. 检查每个节点至今能否相互 ping 通；
3. hdfs-site.xml 中修改 DataNode 的个数（dfs.replication）；
4. hosts 文件中修改节点的IP地址；
5. hadoop 3.x 版本，文件 slaves 改为 workers，其中的 localhost 表示 master 节点即作为namenode，又作为 datanode。所以默认启动 Hadoop 时，通过 jps 查看当前进程发现 namenode 与 datanode 均在 master 节点上。此时将 workers 中的 localhost 改为从节点（如修改为 Slave1），则表示分布式集群；

大数据学习笔记之一：Hadoop 常用指令集合与启动注意项相关推荐

大数据学习笔记：Hadoop生态系统
文章目录一.Hadoop是什么二.Hadoop生态系统图三.Hadoop生态圈常用组件 (一)Hadoop (二)HDFS (三)MapReduce (四)Hive (五)Hbase (六)Zo ...
大数据学习笔记之Hadoop（一）：Hadoop入门
文章目录大数据概论一.大数据概念二.大数据的特点三.大数据能干啥? 四.大数据发展前景五.企业数据部的业务流程分析六.企业数据部的一般组织结构 Hadoop(入门) 一从Hadoop框架 ...
大数据学习笔记33：解决CentOS7上MySQL启动失败问题
文章目录一.查看安装的MySQL数据库版本二.启动MySQL失败 1.启动MySQL,出现错误提示 2.执行systemctl status mysqld.service查看详情 3.执行jour ...
Hadoop 大数据学习笔记
Hadoop 大数据学习笔记1 大数据部门组织架构 Hadoop Hadoop是什么 Hadoop的优势 Hadoop的组成 HDFS架构 YARN架构 MapReduce 大数据技术生态体系![在这 ...
大数据学习笔记第1课 Hadoop基础理论与集群搭建
大数据学习笔记第1课 Hadoop基础理论与集群搭建一.环境准备二.下载JDK 三.安装JDK 四.下载hadoop 五.安装hadoop集群六.打通3台服务器的免密登录七.hadoop集群配 ...
大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建图文详解
引言在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单 ...
hdp对应hadoop的版本_好程序员大数据学习路线分享hadoop的知识总结
大数据学习路线分享hadoop的知识总结,Hadoop的背景:原生公司是apache, cdh的cloudar公司,hortworks公司提供hdp. 其中apache的发行版本大致有1.x ,2.x ...
大数据学习系列之八----- Hadoop、Spark、HBase、Hive搭建环境遇到的错误以及解决方法
大数据学习系列之八----- Hadoop.Spark.HBase.Hive搭建环境遇到的错误以及解决方法参考文章: (1)大数据学习系列之八----- Hadoop.Spark.HBase.Hiv ...
大数据学习笔记（一）
大数据学习笔记(一)大数据概论大数据是什么 1大数据概念:(big data ) : 指无法在一定时间内用常规软件工具进行捕捉.管理和处理数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和 ...

大数据学习笔记之一：Hadoop 常用指令集合与启动注意项

常用指令集合：

注：

大数据学习笔记之一：Hadoop 常用指令集合与启动注意项相关推荐

最新文章

热门文章