Linux常用命令记录

linux一次性解压多个.gz或者.tar.gz文件：

// 解压多个.gz文件，命令如下
for gz in *.gz; do gunzip $gz; done
// 解压多个.tar.gz文件的，用下面命令
for tar in *.tar.gz;  do tar xvf $tar; done

防火墙：

// 查看防火墙状态
systemctl status firewalld
出现Active: active (running)切高亮显示则表示是启动状态。
出现 Active: inactive (dead)灰色表示停止。
// 开启
service firewalld start
// 重启
service firewalld restart
// 关闭
service firewalld stop
// 配合使用永久关闭防火墙
systemctl stop firewalld # 临时关闭防火墙
systemctl disable firewalld # 禁止开机启动

其它：

// 查看文件大小，统计当前文件夹(目录)大小，并按文件大小排序
du -sh * | sort -n
// 创建普通用户
useradd test   #创建test用户
passwd test   #创建/更新test用户密码
// 删除普通用户
userdel -r test
// 修改普通用户密码
passwd test
然后，按照提示输入新密码
// 查找当前目录及其子目录下，文件后缀为 .c的文件
find . -name "*.c"
// 修改文件权限
chown -R test:test fileName
// 赋值执行权限
chmod +x fileName

1. hdfs命令

创建文件的命令： hadoop fs -touch /file.txt
创建文件夹的命令： hadoop fs -mkdir /filename
删除文件(夹)的命令： hadoop fs -rm -r /111/file.txt
向hdfs上传文件： hadoop fs -put temp/my.txt /hdfs/temp
将HDFS上结果文件转储到本地文件系统中，使用如下命令： hadoop fs -get /user/username/result1.json/*.json /home/username/temp/us_counties_result/result1
格式化文件系统： hdfs namenode -format
查看hdfs文件： hadoop fs -ls /tmp
hadoop退出安全模式 hdfs dfsadmin -safemode leave
统计文件大小 hdfs dfs -du -h /
统计文件数量，返回的数据是目录个数，文件个数，文件总计大小，输入路径 hdfs dfs -count /

2. hadoop启动与关闭

启动hadoop

start-dfs.sh
start-yarn.sh
// 或者直接使用下面语句启动hadoop
start-all.sh

关闭hadoop

stop-yarn.sh
stop-dfs.sh

3. zookeeper启动与关闭

启动zookeeper服务（每个节点都要启动）

zkServer.sh start

查看启动状态

zkServer.sh status

关闭zookeeper服务

zkServer.sh stop

4. hbase启动与关闭

// 启动HBase
start-hbase.sh
// 关闭HBase
stop-hbase.sh

关闭hadoop、hbase集群执行顺序：
hbase—>zookeeper—>hadoop

1.stop-hbase.sh
2.zkServer.sh stop（每个节点都要关闭）
3.stop-yarn.sh
4.stop-dfs.sh

5. 查看端口进程占用情况

netstat -alnp | grep 8031
lsof -i:8031
ps -ef | grep idea

杀死进程

// 强制关闭
kill -9 PID
// 正常关闭
kill -5 PID

6. 其他问题（后续补充）…

一、HBase无法正常关闭，输入stop-hbase.sh，出现stop hbase……….

解决方案：

首先输入start-hbase.sh，然后就会出现进程运行的端口号；
分别在主节点与子节点关闭进程，使用kill -9 端口号关闭；
关闭之后，输入stop-hbase.sh，发现可以正常关闭了；
输入jps，看见hbase的进程确实被停掉了，HMaster没有了。

二、hadoop启动后jps查不到namenode

解决方案：

查看一下自己的hadoop的日志文件（hadoop安装目录/logs），找到namenode的log文件，直接Shift+g跳转到文件最下行，查看报错信息；
如果显示的是 java.net.BindException，表示端口号被占用，找到端口号kill掉；

三、Hbase启动后，子节点上没有Hregionserver进程

解决方案：

输入date，检查时间是否同步，Hbase默认的容忍间隔是30；修改各服务器时间保证间隔在30s以内，或者使各服务器跟同一个服务器时间保持同步；
最简单的方法：sudo date -s 13:50:00 #这个时间是当下的标准时间；
再次启动Hbase集群

Hadoop相关命令相关推荐

Hadoop、Yarn相关命令简介
HDFS.MapReduce和Yarn并称为Hadoop的核心三大组件,本文着重介绍Hadoop以及Yarn在命令行操作时的相关命令,文中如有不妥之处,欢迎大家及时提出~ 一.Hadoop相关基础命令 ...
* Linux相关命令
查看某一端口的占用情况:lsof -i:端口号显示系统端口使用情况:netstat -anp|grep 端口号查看redis监听端口号:netstat -tnlp | grep redis 查看系 ...
docker删除none镜像_Docker容器相关命令
1.新建并启动容器使用以下docker run命令即可新建并启动一个容器,该命令是最常用的命令,它有很多选项,下面将列举一些常用的选项. -d选项:表示后台运行 -P选项:随机端口映射 -p选项:指 ...
hadoop put命令的格式_工作中需熟练掌握的Hadoop命令
作者信息 Elesdspline 目前从事NLP与知识图谱相关工作. 工作中需熟练掌握的Hadoop命令导读工作中经常要用到一些Hadoop命令,这里简单列举一下,熟悉基本的命令操作,工作效率事半 ...
Hadoop---HDFS相关命令
Hadoop中有三种Shell命令方式: (1)hadoop fs适用于任何不同的文件系统,比如本地文件系统和HDFS文件系统 (2)hadoop dfs只能适用于HDFS文件系统 (3)hdfs d ...
hadoop相关(以期为单位）
学习Hadoop不错的系列文章 1)Hadoop学习总结 (1)HDFS简介地址:http://forfuture1978.iteye.com/blog/615033 (2)HDFS读写过程解析地 ...
hadoop如何使用linux命令,hadoop命令_Linux使用hadoop dfs命令的方法
摘要腾兴网为您分享:Linux使用hadoop dfs命令的方法,沃尔玛,顺丰小哥,省呗,七猫小说等软件知识,以及滴答音乐,sp期货,中油即时通信软件,7723游戏厅,键盘点击器,爱奇艺app视频, ...
hadoop相关认证
前言: 关于Hadoop课程及认证证书的事,想着整理一下,可能觉得有用的. 首先我所知道的在做Hadoop认证的有两家,Hortonworks跟Cloudera.因为工作的原因接触Cloudera比较 ...
Linux查看所有用户与住目录,Linux查看所有用户的相关命令
1.Linux里查看所有用户 (1)在终端里.其实只需要查看 /etc/passwd文件就行了. (2)看第三个参数:500以上的,就是后面建的用户了.其它则为系统的用户. 或者用cat /etc/p ...

Hadoop相关命令

Linux常用命令记录

1. hdfs命令

2. hadoop启动与关闭

3. zookeeper启动与关闭

4. hbase启动与关闭

5. 查看端口进程占用情况

6. 其他问题（后续补充）…

Hadoop相关命令相关推荐

最新文章

热门文章