Hadoop-熟悉常用的HDFS操作
一、Hadoop提供的Shell命令完成相同任务:
- 在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt,里面可以随意输入一些单词.
- 在本地查看文件位置(ls)
- 在本地显示文件内容
cd /usr/local/hadooptouch hello.txtcat hello.txt
- 使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下。
/sbin/start-dfs.sh./bin/hdfs dfs -mkdir -p /user/hadoop./bin/hdfs dfs -mkdir input./bin/hdfs dfs -put ./hello.txt input
- 查看hdfs中的文件(-ls)
./bin/hdfs dfs -ls /input
- 显示hdfs中该的文件内容
./bin/hdfs dfs -cat input/hello.txt
- 删除本地的txt文件并查看目录
./bin/hdfs dfs -rm -ls input/hello.txt
- 从hdfs中将txt下载地本地原来的位置。
./bin/hdfs dfs -get input/test.txt ~/hello.txt
- 从hdfs中删除txt并查看目录
./bin/hdfs dfs -rm -ls input/hello.txt
二、
- 向HDFS中上传任意文本文件,如果指定的文件在HDFS中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件;
if $(hdfs dfs -test -e hello.txt); then $(hdfs dfs -appendToFile local.txt hello.txt); else $(hdfs dfs -copyFromLocal -f local.txt hello.txt); fi
- 从HDFS中下载指定文件,如果本地文件与要下载的文件名称相同,则自动对下载的文件重命名;
if $(hdfs dfs -test -e file: then $(hdfs dfs -copyToLocal hello.txt ./hello2.txt); else $(hdfs dfs -copyToLocal hello.txt ./hello.txt); fi
- 将HDFS中指定文件的内容输出到终端中;
hdfs dfs -cat hello.txt
- 显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息;
hdfs dfs -ls -h hello.txt
- 给定HDFS中某一个目录,输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息,如果该文件是目录,则递归输出该目录下所有文件相关信息;
1
hdfs dfs -ls -R -h /user/hadoop
- 提供一个HDFS内的文件的路径,对该文件进行创建和删除操作。如果文件所在目录不存在,则自动创建目录;
if $(hdfs dfs -hello -d dir1/dir2); then $(hdfs dfs -touchz dir1/dir2/filename); else $(hdfs dfs -mkdir -p dir1/dir2 && hdfs dfs -touchz dir1/dir2/filename); fi
- 提供一个HDFS的目录的路径,对该目录进行创建和删除操作。创建目录时,如果目录文件所在目录不存在则自动创建相应目录;删除目录时,由用户指定当该目录不为空时是否还删除该目录;
if $(hdfs dfs -hello -d dir1/dir2); then $(hdfs dfs -touchz dir1/dir2/filename); else $(hdfs dfs -mkdir -p dir1/dir2); fi if$(hdfs dfs -rmdir dir1/dir2); then $(hdfs dfs -rmdir dir1/dir2) fi
- 向HDFS中指定的文件追加内容,由用户指定内容追加到原有文件的开头或结尾;
追加到文件末尾:hdfs dfs -appendToFile local.txt hello.txt 追加到文件开头: (由于没有直接的命令可以操作,方法之一是先移动到本地进行操作,再进行上传覆盖): hdfs dfs -get hello.txt cat text.txt >> local.txt hdfs dfs -copyFromLocal -f hello.txt hello.txt
- 删除HDFS中指定的文件;
hdfs dfs -rm hello.txt
- 删除HDFS中指定的目录,由用户指定目录中如果存在文件时是否删除目录;
删除目录(如果目录非空则会提示not empty,不执行删除):hdfs dfs -rmdir dir1/dir2 强制删除目录:hdfs dfs -rm -R dir1/dir2
- 在HDFS中,将文件从源路径移动到目的路径。
hdfs dfs -mv hello.txt hello2.txt
转载于:https://www.cnblogs.com/god1924668503/p/8964661.html
Hadoop-熟悉常用的HDFS操作相关推荐
- 熟悉常用的HDFS操作(附录HDFS常用命令)
文章目录 1. 学习目的 2. 学习内容 3. 实验一 3.1 追加文本 3.2 覆盖文本 3.3 脚本完成 4. 实验二 4.1 下载文件脚本 4.2 输出文件内容脚本 4.3 显示单个文件信息脚本 ...
- 实验二:熟悉常用的HDFS操作
实验目的 1.理解HDFS在Hadoop体系结构中的角色 2.熟悉使用HDFS操作常用的Shell命令 3.熟悉HDFS操作常用的Java API 实验平台 1.操作系统:Windows 2.Hado ...
- 熟悉常用的HDFS操作
一.Hadoop提供的Shell命令完成相同任务: 在本地Linux文件系统的"/home/hadoop/"目录下创建一个文件txt,里面可以随意输入一些单词. 在本地查看文件位置 ...
- 第三章 熟悉常用的HDFS操作
一.Hadoop提供的Shell命令完成相同任务: 在本地Linux文件系统的"/home/hadoop/"目录下创建一个文件txt,里面可以随意输入一些单词. 在本地查看文件位置 ...
- 大数据-实验2 熟悉常用的HDFS操作
1.向HDFS中上传任意文件,如果指定的文件在HDFS中已经存在,由客户指定是追加到原有文件末尾还是覆盖原有文件. 首先,打开Hadoop系统,进入Hadoop下,但是当你输入以Hadoop开头的命令 ...
- 实验一 熟悉常用的Linux操作,实验2-熟悉常用的HDFS操作
<实验2-熟悉常用的HDFS操作>由会员分享,可在线阅读,更多相关<实验2-熟悉常用的HDFS操作(5页珍藏版)>请在人人文库网上搜索. 1.实验2熟悉常用的HDFS操作1 实 ...
- hdfs的实验总结_实验2-熟悉常用的HDFS操作.doc
本文档下载自 文库下载网, /doc/d52aebffbb0d4a7302768e9951e79b896802689c.html 实验2-熟悉常用的HDFS操作 实验2熟悉常用的HDFS操作 1实验目 ...
- 大数据基础系列 5:Hadoop 实验——熟悉常用的 HDFS 目录操作和文件操作
文章目录 前言 一.实验目的 二.实验平台 三.实验内容和要求 3.1.HDFS 目录操作 3.1.1.创建用户目录 3.1.2.显示 HDFS 中与当前用户对应的目录内容 3.1.3.列出 HDFS ...
- 实验一 熟悉常用的Linux操作和Hadoop操作
文章目录 题目 实验环境 实验内容 熟悉常用的Linux命令 安装Hadoop 安装ssh服务端 安装Java环境并设置环境变量 安装单机Hadoop hadoop伪分布式安装 出现的问题 but t ...
- Hadoop综合大作业补交4次作业:获取全部校园新闻,网络爬虫基础练习,中文词频统计,熟悉常用的Linux操作...
1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计. (1)开启所有的服务,并创建文件夹wwc (2)查看目录下所有文件 (3)把hdfs文件系统中文件夹里的文 ...
最新文章
- Linux shell 脚本报错:/bin/bash^M: bad interpreter: No such file or directory
- Android 关于::app:clean :app:preBuild UP-TO-DATE :app:preDebugBuild UP-TO-DATE,引用jar冲突问题...
- python接口自动化测试书籍_skPython接口自动化测试 自动化测试教程书籍 用Python实现UI自动化测试 轻松入门Python语法 MySQL数据库 Python基础教程书籍...
- 韩师师范学院计算机科学与技术在哪个学区,2017年韩山师范学院本科插班生考试《数据结构》A卷...
- python基本随机数生成函数有_Python中生成随机数的常用方法
- linux修改文件没有备份文件,linux文件或目录权限修改后如何恢复(备份了权限就能恢复)...
- Android TabHost和xml定义Menu应用
- 控件必须放在具有 runat=server 的窗体标记内错误的解决方法
- ubuntu20.4安装 mariadb 最新版
- 服务器上怎么开启vt虚拟化功能,如何开启VT虚拟化功能
- IOS越狱--修复Cydia闪退(或打不开)的办法
- 嵌入式系统设计师需要掌握什么
- SSM整合尚硅谷Spring
- Vue的引入方式,属性和计数器案例
- 利用SPI驱动12864液晶
- 人工智能伦理学的一知半解
- 跨浏览器书签同步(Floccus + WebDav)
- php 判断是什么服务器,php判断服务器是apache还是nginx的方法
- HTTP协议浅析(中):请求报文和响应报文
- sencha touch 入门系列 (七)sencha touch 类系统讲解(上)
热门文章
- microsoft visual c++全家桶_“网蓝”盒子咖啡新品来袭!顺德第①桶MINI冰摇咖啡,可以背着逛街...
- 网站html静态化 教程,新云CMS网站内容管理系统生成HTML静态化教程
- java webservice用户验证_java webservice 用户验证 (服务端 + 客户端)
- linux嵌入式如何学习,嵌入式Linux要如何学习?嵌入式linux学习路线讲解
- Openpyxl:读取/写入Excel文件的Python模块
- Python继承范例
- python locals_Python locals()
- 学习PriorityQueue源码
- ROS的学习(八)ROS的服务
- 智能虚拟代理改善了哪些行业?