一、Hadoop提供的Shell命令完成相同任务:

  1. 在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt,里面可以随意输入一些单词.
  2. 在本地查看文件位置(ls)
  3. 在本地显示文件内容
    cd /usr/local/hadooptouch hello.txtcat hello.txt

  4. 使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下。
    /sbin/start-dfs.sh./bin/hdfs dfs -mkdir -p /user/hadoop./bin/hdfs dfs -mkdir input./bin/hdfs dfs -put ./hello.txt input

  5. 查看hdfs中的文件(-ls)
    ./bin/hdfs dfs -ls /input

  6. 显示hdfs中该的文件内容
    ./bin/hdfs dfs -cat input/hello.txt

  7. 删除本地的txt文件并查看目录
    ./bin/hdfs dfs -rm -ls input/hello.txt

  8. 从hdfs中将txt下载地本地原来的位置。
    ./bin/hdfs dfs -get input/test.txt ~/hello.txt

  9. 从hdfs中删除txt并查看目录
    ./bin/hdfs dfs -rm -ls input/hello.txt

二、

  1. 向HDFS中上传任意文本文件,如果指定的文件在HDFS中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件;

    if $(hdfs dfs -test -e hello.txt);
    then $(hdfs dfs -appendToFile local.txt hello.txt);
    else $(hdfs dfs -copyFromLocal -f local.txt hello.txt);
    fi

  2. 从HDFS中下载指定文件,如果本地文件与要下载的文件名称相同,则自动对下载的文件重命名;
    if $(hdfs dfs -test -e file:
    then $(hdfs dfs -copyToLocal hello.txt ./hello2.txt);
    else $(hdfs dfs -copyToLocal hello.txt ./hello.txt);
    fi

  3. 将HDFS中指定文件的内容输出到终端中;
    hdfs dfs -cat hello.txt

  4. 显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息;
    hdfs dfs -ls -h hello.txt

  5. 给定HDFS中某一个目录,输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息,如果该文件是目录,则递归输出该目录下所有文件相关信息;
    1
    hdfs dfs -ls -R -h /user/hadoop
  6. 提供一个HDFS内的文件的路径,对该文件进行创建和删除操作。如果文件所在目录不存在,则自动创建目录;
    if $(hdfs dfs -hello -d dir1/dir2);
    then $(hdfs dfs -touchz dir1/dir2/filename);
    else $(hdfs dfs -mkdir -p dir1/dir2 && hdfs dfs -touchz dir1/dir2/filename);
    fi

  7. 提供一个HDFS的目录的路径,对该目录进行创建和删除操作。创建目录时,如果目录文件所在目录不存在则自动创建相应目录;删除目录时,由用户指定当该目录不为空时是否还删除该目录;
    if $(hdfs dfs -hello -d dir1/dir2);
    then $(hdfs dfs -touchz dir1/dir2/filename);
    else $(hdfs dfs -mkdir -p dir1/dir2);
    fi
    if$(hdfs dfs -rmdir dir1/dir2); then $(hdfs dfs -rmdir dir1/dir2) fi

  8. 向HDFS中指定的文件追加内容,由用户指定内容追加到原有文件的开头或结尾;
    追加到文件末尾:hdfs dfs -appendToFile local.txt hello.txt
    追加到文件开头:
    (由于没有直接的命令可以操作,方法之一是先移动到本地进行操作,再进行上传覆盖):
    hdfs dfs -get hello.txt
    cat text.txt >> local.txt
    hdfs dfs -copyFromLocal -f hello.txt hello.txt

  9. 删除HDFS中指定的文件;
    hdfs dfs -rm hello.txt

  10. 删除HDFS中指定的目录,由用户指定目录中如果存在文件时是否删除目录;
    删除目录(如果目录非空则会提示not empty,不执行删除):hdfs dfs -rmdir dir1/dir2
    强制删除目录:hdfs dfs -rm -R dir1/dir2

  11. 在HDFS中,将文件从源路径移动到目的路径。
    hdfs dfs -mv hello.txt hello2.txt

转载于:https://www.cnblogs.com/god1924668503/p/8964661.html

Hadoop-熟悉常用的HDFS操作相关推荐

  1. 熟悉常用的HDFS操作(附录HDFS常用命令)

    文章目录 1. 学习目的 2. 学习内容 3. 实验一 3.1 追加文本 3.2 覆盖文本 3.3 脚本完成 4. 实验二 4.1 下载文件脚本 4.2 输出文件内容脚本 4.3 显示单个文件信息脚本 ...

  2. 实验二:熟悉常用的HDFS操作

    实验目的 1.理解HDFS在Hadoop体系结构中的角色 2.熟悉使用HDFS操作常用的Shell命令 3.熟悉HDFS操作常用的Java API 实验平台 1.操作系统:Windows 2.Hado ...

  3. 熟悉常用的HDFS操作

    一.Hadoop提供的Shell命令完成相同任务: 在本地Linux文件系统的"/home/hadoop/"目录下创建一个文件txt,里面可以随意输入一些单词. 在本地查看文件位置 ...

  4. 第三章 熟悉常用的HDFS操作

    一.Hadoop提供的Shell命令完成相同任务: 在本地Linux文件系统的"/home/hadoop/"目录下创建一个文件txt,里面可以随意输入一些单词. 在本地查看文件位置 ...

  5. 大数据-实验2 熟悉常用的HDFS操作

    1.向HDFS中上传任意文件,如果指定的文件在HDFS中已经存在,由客户指定是追加到原有文件末尾还是覆盖原有文件. 首先,打开Hadoop系统,进入Hadoop下,但是当你输入以Hadoop开头的命令 ...

  6. 实验一 熟悉常用的Linux操作,实验2-熟悉常用的HDFS操作

    <实验2-熟悉常用的HDFS操作>由会员分享,可在线阅读,更多相关<实验2-熟悉常用的HDFS操作(5页珍藏版)>请在人人文库网上搜索. 1.实验2熟悉常用的HDFS操作1 实 ...

  7. hdfs的实验总结_实验2-熟悉常用的HDFS操作.doc

    本文档下载自 文库下载网, /doc/d52aebffbb0d4a7302768e9951e79b896802689c.html 实验2-熟悉常用的HDFS操作 实验2熟悉常用的HDFS操作 1实验目 ...

  8. 大数据基础系列 5:Hadoop 实验——熟悉常用的 HDFS 目录操作和文件操作

    文章目录 前言 一.实验目的 二.实验平台 三.实验内容和要求 3.1.HDFS 目录操作 3.1.1.创建用户目录 3.1.2.显示 HDFS 中与当前用户对应的目录内容 3.1.3.列出 HDFS ...

  9. 实验一 熟悉常用的Linux操作和Hadoop操作

    文章目录 题目 实验环境 实验内容 熟悉常用的Linux命令 安装Hadoop 安装ssh服务端 安装Java环境并设置环境变量 安装单机Hadoop hadoop伪分布式安装 出现的问题 but t ...

  10. Hadoop综合大作业补交4次作业:获取全部校园新闻,网络爬虫基础练习,中文词频统计,熟悉常用的Linux操作...

    1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计. (1)开启所有的服务,并创建文件夹wwc (2)查看目录下所有文件 (3)把hdfs文件系统中文件夹里的文 ...

最新文章

  1. Linux shell 脚本报错:/bin/bash^M: bad interpreter: No such file or directory
  2. Android 关于::app:clean :app:preBuild UP-TO-DATE :app:preDebugBuild UP-TO-DATE,引用jar冲突问题...
  3. python接口自动化测试书籍_skPython接口自动化测试 自动化测试教程书籍 用Python实现UI自动化测试 轻松入门Python语法 MySQL数据库 Python基础教程书籍...
  4. 韩师师范学院计算机科学与技术在哪个学区,2017年韩山师范学院本科插班生考试《数据结构》A卷...
  5. python基本随机数生成函数有_Python中生成随机数的常用方法
  6. linux修改文件没有备份文件,linux文件或目录权限修改后如何恢复(备份了权限就能恢复)...
  7. Android TabHost和xml定义Menu应用
  8. 控件必须放在具有 runat=server 的窗体标记内错误的解决方法
  9. ubuntu20.4安装 mariadb 最新版
  10. 服务器上怎么开启vt虚拟化功能,如何开启VT虚拟化功能
  11. IOS越狱--修复Cydia闪退(或打不开)的办法
  12. 嵌入式系统设计师需要掌握什么
  13. SSM整合尚硅谷Spring
  14. Vue的引入方式,属性和计数器案例
  15. 利用SPI驱动12864液晶
  16. 人工智能伦理学的一知半解
  17. 跨浏览器书签同步(Floccus + WebDav)
  18. php 判断是什么服务器,php判断服务器是apache还是nginx的方法
  19. HTTP协议浅析(中):请求报文和响应报文
  20. sencha touch 入门系列 (七)sencha touch 类系统讲解(上)

热门文章

  1. microsoft visual c++全家桶_“网蓝”盒子咖啡新品来袭!顺德第①桶MINI冰摇咖啡,可以背着逛街...
  2. 网站html静态化 教程,新云CMS网站内容管理系统生成HTML静态化教程
  3. java webservice用户验证_java webservice 用户验证 (服务端 + 客户端)
  4. linux嵌入式如何学习,嵌入式Linux要如何学习?嵌入式linux学习路线讲解
  5. Openpyxl:读取/写入Excel文件的Python模块
  6. Python继承范例
  7. python locals_Python locals()
  8. 学习PriorityQueue源码
  9. ROS的学习(八)ROS的服务
  10. 智能虚拟代理改善了哪些行业?