大数据-实验2 熟悉常用的HDFS操作

1、向HDFS中上传任意文件，如果指定的文件在HDFS中已经存在，由客户指定是追加到原有文件末尾还是覆盖原有文件。
首先，打开Hadoop系统，进入Hadoop下，但是当你输入以Hadoop开头的命令时，出现以下错误，原因是没有启动Hadoop的代码块

此时用sbin/start-dfs.sh和 sbin/start-yarn.sh这两个命令打开。

接下来自己写入两个文件：

当echo $?命令输出为0是文件才是上传到，appendToFile 和 copyFromLocal 分别是追加和覆盖的命令
(2)从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名；

if $(./bin/hdfs dfs -test -e /usr/local/hadoop/text.txt);
then $(./bin/hdfs dfs -copyToLocal text.txt ./text.txt);
else $(./bin/hdfs dfs -copyToLocal text.txt ./text2.txt);
fi

(3)将HDFS中指定文件的内容输出到终端中

(4)显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息；

(5)给定HDFS中某一个目录，输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息，如果该文件是目录，则递归输出该目录下所有文件相关信息；

(6)提供一个HDFS内的文件的路径，对该文件进行创建和删除操作。如果文件所在目录不存在，则自动创建目录；

（7）提供一个 HDFS 的目录的路径，对该目录进行创建和删除操作。创建目录时，如果目录文件所在目录不存在则自动创建相应目录；删除目录时，由用户指定当该目录不为空时是否还删除该目录；
mkdir只能删除空目录，不能删除非空目录。

(8）删除 HDFS 中指定的文件；

“>>"追加
（9）删除 HDFS 中指定的文件；

（10）在 HDFS 中，将文件从源路径移动到目的路径。

大数据-实验2 熟悉常用的HDFS操作相关推荐

实验一熟悉常用的Linux操作,实验2-熟悉常用的HDFS操作
<实验2-熟悉常用的HDFS操作>由会员分享,可在线阅读,更多相关<实验2-熟悉常用的HDFS操作(5页珍藏版)>请在人人文库网上搜索. 1.实验2熟悉常用的HDFS操作1 实 ...
hdfs的实验总结_实验2-熟悉常用的HDFS操作.doc
本文档下载自文库下载网, /doc/d52aebffbb0d4a7302768e9951e79b896802689c.html 实验2-熟悉常用的HDFS操作实验2熟悉常用的HDFS操作 1实验目 ...
HBase的编程实践（实验3_熟悉常用的HBase操作）
一.Hbase中使用Shell命令: ① HBase中创建表:(create 命令:第一个变量是表名,然后是列族名) 语法:create '表名称','列族名称1','列族名称2','列族名称N' c ...
实验一熟悉常用的Linux操作和Hadoop操作
文章目录题目实验环境实验内容熟悉常用的Linux命令安装Hadoop 安装ssh服务端安装Java环境并设置环境变量安装单机Hadoop hadoop伪分布式安装出现的问题 but t ...
实验二：熟悉常用的HDFS操作
实验目的 1.理解HDFS在Hadoop体系结构中的角色 2.熟悉使用HDFS操作常用的Shell命令 3.熟悉HDFS操作常用的Java API 实验平台 1.操作系统:Windows 2.Hado ...
熟悉常用的HDFS操作(附录HDFS常用命令)
文章目录 1. 学习目的 2. 学习内容 3. 实验一 3.1 追加文本 3.2 覆盖文本 3.3 脚本完成 4. 实验二 4.1 下载文件脚本 4.2 输出文件内容脚本 4.3 显示单个文件信息脚本 ...
哈工大大数据实验_科研常用 | 实验大数据分析方法
对于每个科研工作者而言,对实验数据进行处理是在开始论文写作之前十分常见的工作之一.但是,常见的数据分析方法有哪些呢?常用的数据分析方法有:聚类分析.因子分析.相关分析.对应分析.回归分析.方差分析. ...
熟悉常用的HDFS操作
一.Hadoop提供的Shell命令完成相同任务: 在本地Linux文件系统的"/home/hadoop/"目录下创建一个文件txt,里面可以随意输入一些单词. 在本地查看文件位置 ...
第三章熟悉常用的HDFS操作
一.Hadoop提供的Shell命令完成相同任务: 在本地Linux文件系统的"/home/hadoop/"目录下创建一个文件txt,里面可以随意输入一些单词. 在本地查看文件位置 ...

大数据-实验2 熟悉常用的HDFS操作

大数据-实验2 熟悉常用的HDFS操作相关推荐

最新文章

热门文章