HDFS的简介及基本操作(常用的命令参数介绍)
- 目录
- 前言:
- 1、HDFS基本概念
- 2、HDFS基本操作
- 总结:
目录
前言:
总算有空来接着写大数据的学习笔记了,今天就把之前学过的HDFS的基础知识详细的介绍一下,如有哪点写的不足希望大家多多指教。
1、HDFS基本概念
1.1、前言:
设计思想
分而治之:将大文件、大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析。
在大数据系统中作用:
为各类分布式运算框架(如:mapreduce,spark,tez,……)提供数据存储服务。
重点概念:文件切块,副本存放,元数据。
1.2、 HDFS的概念和特性:
首先,它是一个文件系统,用于存储文件,通过统一的命名空间——目录树来定位文件;
其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色;
重要特性如下:
(1)HDFS中的文件在物理上是分块存储(block),块的大小可以通过配置参数( dfs.blocksize)来规定,默认大小在hadoop2.x版本中是128M,老版本中是64M
(2)HDFS文件系统会给客户端提供一个统一的抽象目录树,客户端通过路径来访问文件,形如:hdfs://namenode:port/dir-a/dir-b/dir-c/file.data
(3)目录结构及文件分块信息(元数据)的管理由namenode节点承担
——namenode是HDFS集群主节点,负责维护整个hdfs文件系统的目录树,以及每一个路径(文件)所对应的block块信息(block的id,及所在的datanode服务器)
(4)文件的各个block的存储管理由datanode节点承担
—- datanode是HDFS集群从节点,每一个block都可以在多个datanode上存储多个副本(副本数量也可以通过参数设置dfs.replication)
(5)HDFS是设计成适应一次写入,多次读出的场景,且不支持文件的修改
(注:适合用来做数据分析,并不适合用来做网盘应用,因为,不便修改,延迟大,网络开销大,成本太高)
2、HDFS基本操作
2.1、HDFS的shell(命令行客户端)操作
HDFS提供shell命令行客户端,使用方法如下:
2.2 常用命令参数介绍
- -help 功能:输出这个命令参数手册
- -ls 功能:显示目录信息 示例: hadoop fs -ls hdfs://hadoop-server01:9000/ 备注:这些参数中,所有的hdfs路径都可以简写 –>hadoop fs -ls / 等同于上一条命令的效果
- -mkdir 功能:在hdfs上创建目录 示例:hadoop fs -mkdir -p /aaa/bbb/cc/dd
- -moveFromLocal 功能:从本地剪切粘贴到hdfs 示例:hadoop fs - moveFromLocal /home/hadoop/a.txt /aaa/bbb/cc/dd
- -moveToLocal 功能:从hdfs剪切粘贴到本地 示例:hadoop fs - moveToLocal /aaa/bbb/cc/dd /home/hadoop/a.txt
- –appendToFile 功能:追加一个文件到已经存在的文件末尾示例:hadoop fs -appendToFile ./hello.txt hdfs://hadoop-server01:9000/hello.txt可以简写为:Hadoop fs -appendToFile ./hello.txt /hello.txt
- -cat 功能:显示文件内容 示例:hadoop fs -cat /hello.txt
- -text 功能:以字符形式打印一个文件的内容 。示例:hadoop fs -text /weblog/access_log.1
- -chgrp -chmod -chown 功能:linux文件系统中的用法一样,对文件所属权限 示例: hadoop fs -chmod 666 /hello.txt hadoop fs -chown someuser:somegrp /hello.txt
- -copyFromLocal 功能:从本地文件系统中拷贝文件到hdfs路径去 示例:hadoop fs -copyFromLocal ./jdk.tar.gz /aaa/ -copyToLocal 功能:从hdfs拷贝到本地 示例:hadoop fs
- -copyToLocal /aaa/jdk.tar.gz
- -cp 功能:从hdfs的一个路径拷贝hdfs的另一个路径 示例: hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2
- -mv 功能:在hdfs目录中移动文件 示例: hadoop fs -mv
/aaa/jdk.tar.gz / - -get 功能:等同于copyToLocal,就是从hdfs下载文件到本地 示例:hadoop fs -get /aaa/jdk.tar.gz -getmerge 功能:合并下载多个文件 示例:比如hdfs的目录
/aaa/下有多个文件:log.1, log.2,log.3,… hadoop fs -getmerge /aaa/log.*
./log.sum - -put 功能:等同于copyFromLocal 示例:hadoop fs -put /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2
- -rm 功能:删除文件或文件夹 示例:hadoop fs -rm -r /aaa/bbb/
- -rmdir 功能:删除空目录 示例:hadoop fs -rmdir /aaa/bbb/ccc
- -df 功能:统计文件系统的可用空间信息 示例:hadoop fs -df -h / -
- -du 功能:统计文件夹的大小信息 示例: hadoop fs -du -s -h /aaa/*
- -count 功能:统计一个指定目录下的文件节点数量 示例:hadoop fs -count /aaa/
- -setrep 功能:设置hdfs中文件的副本数量 示例:hadoop fs -setrep 3 /aaa/jdk.tar.gz <这里设置的副本数只是记录在namenode的元数据中,是否真的会有这么多副本,还得看datanode的数量>
总结:
对于HDFS来讲,如果想达到博主一样的菜鸟级别的水平,必须得知道以下的几个知识点:
首先知道HDFS是什么;其次知道三个主要概念即文件切块、副本存放、元数据;然后要知道HDFS中对应的角色即NameNode、Datanode的工作机制和职责以及HDFS读写数据的原理;最后要掌握常用的HDFS-shell命令行。个人感觉如果知道以上的一些知识点,HDFS应该算是入门了吧。
接下来将介绍下HDFS的客户端应用开发等。(
详见:https://blog.csdn.net/qq_16633405/article/details/78403316)
HDFS的简介及基本操作(常用的命令参数介绍)相关推荐
- HDFS命令行客户端使用,命令行客户端支持的命令参数,常用命令参数介绍
3.HDFS的shell(命令行客户端)操作 3.1 HDFS命令行客户端使用 HDFS提供shell命令行客户端,使用方法如下: [toto@hadoop hadoop-2.8.0]$ hdfs d ...
- docker镜像简介和docker常用基础命令
docker镜像简介和docker常用基础命令 文章目录 docker镜像简介和docker常用基础命令 1:docker镜像概述 1.1:什么是docker镜像 1.2:docker镜像的获取方式 ...
- pm2常用的命令用法介绍
pm2 是一个带有负载均衡功能的Node应用的进程管理器.当你要把你的独立代码利用全部的服务器上的所有CPU,并保证进程永远都活着,0秒的重载, PM2是完美的,下面我们来看pm2常用的命令用法介绍吧 ...
- Ubuntu常用APT命令参数
常用APT命令参数 apt-cache search package 搜索包 apt-cache show package 获取包的相关信息,如说明.大小.版本等 sudo apt-get insta ...
- ansible命令参数介绍
ansible命令参数介绍 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 -m:要执行的模块,默认为command -a:模块的参数 -u:ssh连接 ...
- Puppet 命令参数介绍(三)
Puppet 命令参数介绍 前言: Puppet的工作原理: puppet master启动默认是监听tcp协议的8140端口.通过ruby的webrick web接收agent端的请求,根据请求内容 ...
- Hadoop常用命令参数介绍
常用命令 - help 功能:输出这个命令参数手册 - ls 功能:显示目录信息 示例:hadoop fs -ls hdfs://hadoop-hello/ 备注:这些参数中,所有的hdfs路径都可以 ...
- linux常用终端命令参数整理
命令常用参数整理 文章目录 1.xargs 2.tar 3.awk 4.grep 5.sed 6.wget 7.curl 8.find 9.watch 10.scp 11.diff 12.screen ...
- 第五章 Mininet常用命令参数介绍
mn 观察,可以知道,已经进入了这个自带的网络,网络中有1个交换机和2个主机,且在打开这个网络之后,进入了 mininet> 这个命令模式 然后输入相关命令查看网络状态,如下图所示: 查看可 ...
最新文章
- 与有利集团总公司,同携手•共辉煌
- 树莓派udev不能自动挂载_直播课:教你用树莓派实现智能商店的自动结账
- [UIView beginAnimations:context:]与[UIView animateWithDuration:animations:]值得注意的一个区别...
- matlab ,python,c++关于格式化输出数字的表达
- Oracle中如何判断字符串是否全为数字
- php 微信扫码给红包,关于现金红包的详细介绍
- 数据分析必备的统计学(二):假设检验
- Javascript 刷新框架及页面的方法汇总(转)
- aspen和python一起使用_python-将$cond语句与$project一起使用并在PyMongo中聚合
- 从零开始搭建java物联网平台_【攻略】从零开始搭建物联网系统
- 服务器系统安装打印机,windows server 2012 R2安装打印机驱动提示系统资源不足
- 青软实训-锐聘学院-Oracle作业
- java读取txt文件乱码解决方案
- RSD处理高分5号高光谱(GF5 AHSI)数据(一)——正射校正和大气校正
- 2023首届大学生算法大赛——补题
- 怎么卸载影子系统?卸载影子系统解决方法
- 基于「ClamAv」通过python进行病毒检测(2)-- pyClamd控制clamd详解
- 【NOIP2013模拟联考5】小麦亩产一千八(kela) (Standard IO)
- 国内云服务器怎么选配置?如何低价购买国内云主机?
- 六轴机械臂控制原理图_六轴工业机器人工作原理解析
热门文章
- 对几个重要问题的阐述
- 解决报错: Connecting to Kong on http ... Could not reach Kong on http://xxx.xxx.xxx.xxx:8001
- 有关eclipse for java ee版本遇到的坑( Context initialization failed)
- 【bzoj2132】圈地计划 网络流最小割
- R 包的安装,使用,更新
- 跨站的艺术-XSS Fuzzing 的技巧
- 跨越请求,关于后端session会话丢失的解决办法(转载)
- 生成jsp验证码的代码详解(servlet版)
- 利用BBRSACryptor实现iOS端的RSA加解密
- 【HDOJ】【3037】Saving Beans