一个、hadoop1.1.0演示

  1. hadoop它适合于大容量数据存储和分布式计算平台
  2. hadoop核心由hdfs和mapreduce组成
  3. hdfs这是一个主从结构,仅有一个。是namenode:从节点有非常多个
  4. 分布式文件系统与HDFS (HDFS体系结构与基本概念)
  5. Distributed File System
  6. 数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到很多其它的操作系统管理的磁盘中。可是不方便管理和维护,因此迫切须要一种系统来管理多台机器上  的文件,这就是分布式文件管理系统 。
  7. 是一种同意文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间。
  8. 通透性。

    让实际上是通过网络来訪问文件的动作。由程序与用户看来。就像是訪问本地的磁盘一般。

  9. 容错。即使系统中有某些节点脱机,总体来说系统仍然能够持续运作而不会有数据损失。
  10. 分布式文件管理系统非常多,hdfs仅仅是当中一种。适用于一次写入多次查询的情况,不支持并发写情况,小文件不合适。

二、HDFS的shell操作

  1. 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。
  2. 全部的FS shell命令使用URI路径作为參数。
  3. URI格式是scheme://authority/path。HDFS的scheme是hdfs,对本地文件系统,scheme是file。

    当中scheme和authority參数都是可选的。如果未加指定,就会使用配置中指定的默认scheme。

  4. 比如:/parent/child能够表示成hdfs://namenode:namenodePort/parent/child。或者更简单的/parent/child(如果配置文件是namenode:namenodePort)
  5. 大多数FS Shell命令的行为和相应的Unix Shell命令类似。
三、HDFS经常使用命令
-help [cmd]//显示命令的帮助信息
-ls(r) <path>//显示当前文件夹下全部文件
-du(s) <path>//显示文件夹中全部文件大小
-count[-q] <path>//显示文件夹中文件数量
-mv <src> <dst>//移动多个文件到目标文件夹
-cp <src> <dst>//复制多个文件到目标文件夹
-rm(r)//删除文件(夹)
-put <localsrc> <dst>//本地文件拷贝到hdfs
-copyFromLocal//同put
-moveFromLocal//从本地文件移动到hdfs
-get [-ignoreCrc] <src> <localdst>//拷贝文件到本地。能够忽略crc校验
-getmerge <src> <localdst>//将源文件夹中的全部文件排序合并到一个文件里
-cat <src>//在终端显示文件内容
-text <src>//在终端显示文件内容
-copyToLocal [-ignoreCrc] <src> <localdst>//拷贝到本地
-moveToLocal <src> <localdst>
-mkdir <path>//创建目录
-touchz <path>//创建一个空文件
HDFS 的shell练习
hadoop fs -ls /  查看HDFS根文件夹
hadoop fs -mkdir /test 在根文件夹创建一个文件夹test
hadoop fs -mkdir /test1 在根文件夹创建一个文件夹test1

版权声明:本文博客原创文章。博客,未经同意,不得转载。

转载于:https://www.cnblogs.com/mfrbuaa/p/4752051.html

HDFS建筑与shell操作相关推荐

  1. 学习笔记Hadoop(十)—— Hadoop基础操作(2)—— HDFS常用Shell操作

    三.HDFS常用Shell操作 3.1.HDFS文件系统 HDFS Shell 指的是可以使用类似shell的命令来直接和Hadoop分布式文件系统(HDFS)进行交互. 使用命令: bin/hado ...

  2. 二、HDFS基本架构和shell操作

    @Author : By Runsen @Date : 2020/6/20 作者介绍:Runsen目前大三下学期,专业化学工程与工艺,大学沉迷日语,Python, Java和一系列数据分析软件.导致翘 ...

  3. Hadoop开发第6期---HDFS的shell操作

    一.HDFS的shell命令简介 我们都知道HDFS 是存取数据的分布式文件系统,那么对HDFS 的操作,就是文件系统的基本操作,比如文件的创建.修改.删除.修改权限等,文件夹的创建.删除.重命名等. ...

  4. HDFS的Shell操作和API操作

    文章目录 HDFS的Shell操作 1.1 基本语法 1.2 命令大全 1.3 常用命令实操 1.3.1 准备工作 1.3.2 上传 1.3.3 下载 1.3.4 HDFS直接操作 第二章 HDFS客 ...

  5. Hadoop大象之旅009-通过Shell操作hdfs

    Hadoop大象之旅009-通过Shell操作hdfs 老帅 调用Hadoop分布式文件系统(HDFS)Shell命令应使用bin/hadoop fs <args>的形式. 1.查看hdf ...

  6. Hadoop 3.x(HDFS)----【HDFS 的 Shell 操作】

    Hadoop 3.x(HDFS)----[HDFS 的 Shell 操作] 1. 基本语法 2. 命令大全 3. 常用命令实操 1. 准备工作 2. 上传 3. 下载 4. HDFS直接操作 1. 基 ...

  7. hdfs shell操作

    文章目录 HDFS 的shell操作 一.三种Shell命令方式 二.常用HDFS的shell命令 三.HDFS常用命令操作实例 1.创建单层目录 2.创建多层目录 3.查看目录 4,上传本地文件到h ...

  8. Hadoop中HDFS的Shell操作(开发重点)、启动Hadoop集群、基本语法、常用命令实操、命令大全、-help、-mkdir、-moveFromLocal、-copyFromLocal

    文章目录 6.HDFS的Shell操作(开发重点) 6.1基本语法 6.2命令大全 6.3常用命令实操 6.3.1准备工作 6.3.1.1启动Hadoop集群(方便后续的测试) 6.3.1.2-hel ...

  9. hive sqoop 分区导入_Sqoop概述及shell操作

    特别说明:该专栏文章均来源自微信公众号<大数据实战演练>,欢迎关注! 一.Sqoop概述 1. 产生背景 基于传统关系型数据库的稳定性,还是有很多企业将数据存储在关系型数据库中:早期由于工 ...

最新文章

  1. C++拾趣——STL容器的插入、删除、遍历和查找操作性能对比(Windows VirtualStudio)——遍历和删除
  2. jdbc事物回滚是否需要重新commit 不需要
  3. 提升的控件 paint()事件被遮挡_设计锦囊 | 提升产品易用性案例分享
  4. UltraEdit常用快捷键
  5. java.lang.NoClassDefFoundError: Ljavax/transaction/TransactionManager
  6. 教学思路SQL之入门习题《学员成绩》 二、基础单表查询
  7. Nfine框架的使用
  8. 黑马程序员视频-微信小程序-原生框架——项目搭建
  9. 北京簋街 美食完全攻略 + 簋街好吃的夜宵去处-----店铺介绍大全
  10. 牛客网 2018校招真题 吉比特 直线上的点
  11. con排插与单片机相连_单片机与8255芯片连接详解
  12. Creating schema using Saiku Schema Designer
  13. 打造智慧化生活体验,华为发布全屋智能及智慧屏新品
  14. DXP出现Un-Routed Net Constraint报错的一种情况和解决方法
  15. 新浪微博视频批量上传社区投稿工具教程
  16. 2022年登高架设操作证考试题库及答案
  17. 我提了离职,公司给我涨薪了,还能待下去吗?
  18. flutter 视频选择之后并分片上传
  19. Java Security
  20. DEVC++密室逃脱V1.03

热门文章

  1. oracle终止dbms调度,Oracle使用DBMS_JOB创建的数据库作业,遇到数据库关闭状态的调度...
  2. 003_FastDFS分布式横向扩容和纵向添加storage
  3. Windows下Unity5x的下载
  4. 005-SDK框架之LYWSDKCallBackListener.h
  5. mod php是什么意思,mod_php模式原理探析
  6. 野火开发版屏幕_盘一盘那些年我们常用的物联网开发板!
  7. cassandra本地连接失败_本地网络发现失败的解决方法连接到OS X中的服务器的问题 | MOS86...
  8. 提升平面设计思维能力的实用技巧
  9. 不需要网络的调频收音机_测试工程师真的不需要懂网络知识么?
  10. android view可视区域,Android使用WindowManager构造悬浮view