【Hadoop】HDFS基本命令

1. 创建目录

[grid@master ~]$ hadoop fs -mkdir /test

2. 查看文件列表

[grid@master ~]$ hadoop fs -ls /
Found 3 items
drwxr-xr-x   - grid supergroup          0 2018-01-08 04:37 /test
drwx------   - grid supergroup          0 2018-01-07 11:57 /tmp
drwxr-xr-x   - grid supergroup          0 2018-01-07 11:46 /user

3. 上传文件到HDFS
#新建上传目录

[grid@master ~]$ hadoop fs -mkdir /test/input

#上传文件到新建目录，两个命令可以上传

（1）hadoop fs -put

[grid@master ~]$ hadoop fs -put /home/grid/grid.txt /test/input/grid.txt
[grid@master ~]$ hadoop fs -ls /test/input
Found 1 items
-rw-r--r--   2 grid supergroup          0 2018-01-08 04:43 /test/input/grid.txt

（2）hadoop fs -copyFromLocal

[grid@master ~]$ hadoop fs -copyFromLocal -f /home/grid/grid.txt /test/input/grid1.txt[grid@master ~]$ hadoop fs -ls /test/input
Found 2 items
-rw-r--r--   2 grid supergroup          0 2018-01-08 04:43 /test/input/grid.txt
-rw-r--r--   2 grid supergroup          0 2018-01-08 04:46 /test/input/grid1.txt

4. 下载文件到本地，两个命令

（1）hadoop fs -get

[grid@master ~]$ hadoop fs -get /test/input/grid.txt /home/grid/grid_local.txt

（2）hadoop fs -copyToLocal

[grid@master ~]$ hadoop fs -copyToLocal /test/input/grid.txt /home/grid/grid_local_1.txt

5. 查看HDFS文件内容，三个命令

（1）hadoop fs -cat

[grid@master ~]$ hadoop fs -cat /test/input/grid.txt
Welcome to my blog!
I'm NextAction!

（2）hadoop fs -tail

[grid@master ~]$ hadoop fs -tail /test/input/grid.txt
Welcome to my blog!
I'm NextAction!

（3）hadoop fs -text

[grid@master ~]$ hadoop fs -text /test/input/grid.txt
Welcome to my blog!
I'm NextAction!

6. 删除HDFS文件

[grid@master ~]$ hadoop fs -rm /test/input/grid.txt
18/01/08 04:58:13 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.

【Hadoop】HDFS基本命令相关推荐

Hadoop HDFS 基本命令
Hadoop HDFS 基本命令 hadoop fs 具体命令 hadoop fs -help:输出这个命令参数 hadoop fs ‐help cat ls: 显示目录信息hadoop fs ‐ ...
2.Hadoop HDFS 安装配置
1.将hadoop包解压放到/opt/hadoop下 2.配置 2.1.进入hadoop目录 2.2.编辑hadoop.env.sh文件配置jdk环境变量 #vi etc/hadoop/hadoop ...
HDFS基本命令及上传文件API
一.HDFS基本命令行操作: 1.HDFS集群修改SecondaryNameNode位置到hd09-2(1)修改hdfs-site.xml<configuration>//配置元数据存储位 ...
什么是Hadoop - HDFS - MapReduce - YARN - HA
Hadoop 为什么要有Hadoop? 从计算机诞生到现今,积累了海量的数据,这些海量的数据有结构化.半结构化.非结构的数据,并且这些海量的数据存储和检索就成为了一大问题. 我们都知道大数据技术难题 ...
Hadoop HDFS文件操作的Java代码
1.创建目录 import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.ha ...
bboss hadoop hdfs大数据抽取工具
bboss大数据抽取工具功能特点如下: 实现db到hadoop hdfs数据导入功能,提供高效的分布式并行处理能力,可以采用数据库分区.按字段分区.分页方式并行批处理抽取db数据到hdfs文件系统中: ...
org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in receiveBlock for block
Hbase依赖的datanode日志中如果出现如下报错信息:DataXceiverjava.io.EOFException: INFO org.apache.hadoop.hdfs.server.da ...
JAVA程序连接hadoop HDFS服务报无法连接。
2019独角兽企业重金招聘Python工程师标准>>> 在虚拟机部署hadoop的HDFS系统,在centos系统中敲各种操作命令,对文件读取.上传.删除等都没什么问题.但用JAVA ...
Linux下Hadoop hdfs Java API使用
0 前言搞了大约2天时间终于把Linux下面Java API的使用给弄清楚了.做个笔记方便以后参考.环境如下所示 Hadoop:2.5.1 Linux:Ubuntu kylin eclipse:lu ...
Hadoop HDFS概念学习系列之熟练掌握HDFS的Shell访问（十五）
调用文件系统(FS)Shell命令应使用 $HADOOP_HOME/bin/hadoop fs *** 的形式!!! 所有的FS Shell命令使用URI路径作为参数. URI格式是scheme:/ ...

【Hadoop】HDFS基本命令

【Hadoop】HDFS基本命令相关推荐

最新文章

热门文章