一、Hadoop提供的Shell命令完成相同任务:

  1. 在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt,里面可以随意输入一些单词.
  2. 在本地查看文件位置(ls)
  3. 在本地显示文件内容
    cd /home/hadoop/
    touch test.txt
    cat temp.txt

  4. 使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下。
  5. 查看hdfs中的文件(-ls)
    cd /usr/local/hadoop
    ./bin/hdfs dfs -put /home/hadoop/test.txt input
    ./bin/hdfs dfs -ls input

  6. 显示hdfs中该的文件内容
  7. 删除本地的txt文件并查看目录
    ./bin/hdfs dfs -cat input/test.txt
    rm -rf test.txt
    ls

  8. 从hdfs中将txt下载地本地原来的位置。
  9. 从hdfs中删除txt并查看目录
    ./bin/hdfs dfs -get input/text.txt /home/hadoop
    ./bin/hdfs dfs -rm -r input/text.txt
    ./bin/hdfs dfs -ls input
    

      

二、

  1. 向HDFS中上传任意文本文件,如果指定的文件在HDFS中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件;

    if $(hdfs dfs -test -e test.txt);
    then $(hdfs dfs -appendToFile local.txt test.txt);
    else $(hdfs dfs -copyFromLocal -f local.txt test.txt);
    fi

  2. 从HDFS中下载指定文件,如果本地文件与要下载的文件名称相同,则自动对下载的文件重命名;
    if $(hdfs dfs -test -e file:
    then $(hdfs dfs -copyToLocal hello.txt ./test2.txt);
    else $(hdfs dfs -copyToLocal hello.txt ./test.txt);
    fi

  3. 将HDFS中指定文件的内容输出到终端中;
    hadoop fs -cat /usr/local/hadoop/test.txt

  4. 显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息;
    hadoop fs -ls -h /usr/local/hadoop/test.txt

  5. 给定HDFS中某一个目录,输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息,如果该文件是目录,则递归输出该目录下所有文件相关信息;
    hadoop fs -ls -R -h /usr/local/hadoop

  6. 提供一个HDFS内的文件的路径,对该文件进行创建和删除操作。如果文件所在目录不存在,则自动创建目录;
    if $(hadoop fs -test -d /usr/local/hadoop/test);
    then $(hadoop fs -touchz /usr/local/hadoop/test/test1.txt);
    else $(hadoop fs -mkdir -p /usr/local/hadoop/test && hadoop fs -touchz /usr/local/hadoop/test/test1.txt);
    fi

  7. 提供一个HDFS的目录的路径,对该目录进行创建和删除操作。创建目录时,如果目录文件所在目录不存在则自动创建相应目录;删除目录时,由用户指定当该目录不为空时是否还删除该目录;
    hadoop fs -rmr /usr/local/hadoop/test

  8. 向HDFS中指定的文件追加内容,由用户指定内容追加到原有文件的开头或结尾;
    hadoop fs -appendToFile local.txt test.txt

  9. 删除HDFS中指定的文件;
    hadoop fs -rm /usr/local/hadoop/test.txt

  10. 删除HDFS中指定的目录,由用户指定目录中如果存在文件时是否删除目录;
    hadoop fs -rmr /usr/local/hadoop

  11. 在HDFS中,将文件从源路径移动到目的路径。
    hadoop fs -mv /usr/local/hadoop/test.txt /usr/local/hadoop/hadoop_tmp/test.txt

转载于:https://www.cnblogs.com/605-mk/p/8964674.html

熟悉常用的HDFS操作相关推荐

  1. 熟悉常用的HDFS操作(附录HDFS常用命令)

    文章目录 1. 学习目的 2. 学习内容 3. 实验一 3.1 追加文本 3.2 覆盖文本 3.3 脚本完成 4. 实验二 4.1 下载文件脚本 4.2 输出文件内容脚本 4.3 显示单个文件信息脚本 ...

  2. 实验二:熟悉常用的HDFS操作

    实验目的 1.理解HDFS在Hadoop体系结构中的角色 2.熟悉使用HDFS操作常用的Shell命令 3.熟悉HDFS操作常用的Java API 实验平台 1.操作系统:Windows 2.Hado ...

  3. 第三章 熟悉常用的HDFS操作

    一.Hadoop提供的Shell命令完成相同任务: 在本地Linux文件系统的"/home/hadoop/"目录下创建一个文件txt,里面可以随意输入一些单词. 在本地查看文件位置 ...

  4. 大数据-实验2 熟悉常用的HDFS操作

    1.向HDFS中上传任意文件,如果指定的文件在HDFS中已经存在,由客户指定是追加到原有文件末尾还是覆盖原有文件. 首先,打开Hadoop系统,进入Hadoop下,但是当你输入以Hadoop开头的命令 ...

  5. 实验一 熟悉常用的Linux操作,实验2-熟悉常用的HDFS操作

    <实验2-熟悉常用的HDFS操作>由会员分享,可在线阅读,更多相关<实验2-熟悉常用的HDFS操作(5页珍藏版)>请在人人文库网上搜索. 1.实验2熟悉常用的HDFS操作1 实 ...

  6. hdfs的实验总结_实验2-熟悉常用的HDFS操作.doc

    本文档下载自 文库下载网, /doc/d52aebffbb0d4a7302768e9951e79b896802689c.html 实验2-熟悉常用的HDFS操作 实验2熟悉常用的HDFS操作 1实验目 ...

  7. 大数据基础系列 5:Hadoop 实验——熟悉常用的 HDFS 目录操作和文件操作

    文章目录 前言 一.实验目的 二.实验平台 三.实验内容和要求 3.1.HDFS 目录操作 3.1.1.创建用户目录 3.1.2.显示 HDFS 中与当前用户对应的目录内容 3.1.3.列出 HDFS ...

  8. Hadoop综合大作业补交4次作业:获取全部校园新闻,网络爬虫基础练习,中文词频统计,熟悉常用的Linux操作...

    1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计. (1)开启所有的服务,并创建文件夹wwc (2)查看目录下所有文件 (3)把hdfs文件系统中文件夹里的文 ...

  9. 实验一 熟悉常用的Linux操作和Hadoop操作

    文章目录 题目 实验环境 实验内容 熟悉常用的Linux命令 安装Hadoop 安装ssh服务端 安装Java环境并设置环境变量 安装单机Hadoop hadoop伪分布式安装 出现的问题 but t ...

最新文章

  1. Spring Cloud第十三篇: 断路器聚合监控(Hystrix Turbine)
  2. 2018 年值得关注的 Web 设计趋势
  3. Serializable:明明就一个空接口!为什么还要实现它?
  4. 数学问题->分数的四则运算
  5. 代码审计之CVE-2018-7600-Drupal远程代码执行漏洞-Render API
  6. 转:Discuz!NT负载均衡解决方案(HA)之---LVS(Linux Virtual Server)
  7. SoapUI接口测试断言
  8. 百度个性化瓦片地图下载
  9. nios 双核 烧录_Nios程序烧写到EPCS方法
  10. 证券公司业务部门深度全解
  11. 苹果手机显示有4g上不了网络连接服务器,苹果移动数据为什么叫蜂窝网络_蜂窝移动数据和4g有什么区别...
  12. 第二重要极限公式推导过程_机器学习——一文详解逻辑回归「附详细推导和代码」...
  13. 如何编辑图片合成图片?让我们来看看这些合成方法
  14. python爬虫+数据分析完整流程--豆瓣电影分类排行榜
  15. mac下Aria2GUI+Chrome解决网盘下载速度慢
  16. 普渡大学利用深度学习自动检测核反应堆裂缝
  17. 2023临沂大学计算机考研信息汇总
  18. 高效程序员秘籍(6):使用CLCL加快写代码的速度
  19. CC26xx([CortexM3)的Power Reset and Clock
  20. Nios和Qsys互连

热门文章

  1. vim-addon-manager install youcompleteme
  2. Python学习入门基础教程(learning Python)--6.3 Python的list切片高级
  3. apache+svn
  4. 项目中基于Rest的Wcf服务发布以及iBatisNet框架的使用(下)
  5. java读取文件效率问题
  6. 《西河大鼓——夸轿车》(唱词文本)
  7. SQL语句导入导出大全
  8. 腾讯云CentOS7.2+Django2.2+Python3.7+Nginx+Uwsgi 初学者部署教程
  9. 谈谈垃圾回收机制方式及内存管理
  10. Java虚拟机常见面试题