大数据从入门到实战 --HDFS系统初体验

相关知识

本关我们来简单体验一下Hadoop的HDFS系统的功能，本关你需要掌握的技能有：1.在HDFS中创建文件夹，2.上传文件至HDFS中。

创建文件夹

和Linux中一样创建文件加的主要命令是mkdir，只不过在前面要加上hadoop fs ，

hadoop fs -mkdir /test

创建好文件加之后，我们可以查看是否创建成功。
命令：

hadoop fs -ls /

/代表根目录，这个命令的意思就是查看根目录下所有的文件和文件夹。

上传文件至HDFS

接下来我们来体验一下，在本地编写文件，然后上传到HDFS中。

1.创建文件，并添加数据

# touch hello.txt
# vi hello.txt

2.将文件上传至HDFS

使用put命令即可将指定文件上传至HDFS的指定文件夹中，在本文中就是将hello.txt上传至HDFS的/test文件夹。

hadoop fs -put hello.txt /test

3.查看文件

与Linux中查看文件类似，使用cat命令即可查看指定文件的内容。

root@evassh-12044241:~# hadoop fs -cat /test/hello.txt
hello hdfs nice to meet to you

编程要求

在HDFS系统的根目录下创建task文件夹，在本地创建一个名为task.txt的文件，输入：hello educoder至该文件中，最后将该文件上传至HDFS系统的/task目录。

root@evassh-12044241:~# touch task.txt
root@evassh-12044241:~# vi task.txt
root@evassh-12044241:~# hadoop fs -put task.txt /task
root@evassh-12044241:~# hadoop fs -cat /task/task.txt
hello educoder
root@evassh-12044241:~#

大数据从入门到实战 --HDFS系统初体验相关推荐

大数据从入门到实战 - 第2章分布式文件系统HDFS
大数据从入门到实战 - 第2章分布式文件系统HDFS 一.关于此次实践 1.实战简介 2.全部任务二.实践详解 1.第1关: HDFS 的基本操作 2.第2关:HDFS-JAVA接口之读取文件 3 ...
大数据从入门到实战 - 第3章 MapReduce基础实战
大数据从入门到实战 - 第3章 MapReduce基础实战一.关于此次实践 1.实战简介 2.全部任务二.实践详解 1.第 1 关:成绩统计 2.第 2 关:文件内容合并去重 3.第 3 关:信息 ...
大数据从入门到实战 - 第2章分布式文件系统HDFS，cz教你玩转HDFS
第1关:HDFS的基本操作: 为了完成本关任务你需要了解的知识有:1.HDFS的设计,2.HDFS常用命令. HDFS的设计分布式文件系统客户:帮我保存一下这几天的数据. 程序猿:好嘞,有多大呢? ...
【头歌】大数据从入门到实战 - 第2章分布式文件系统HDFS
第1关:HDFS的基本操作任务描述本关任务:使用 Hadoop 命令来操作分布式文件系统. 编程要求在右侧命令行中启动 Hadoop ,进行如下操作. 在 HDFS 中创建 /usr/outpu ...
头歌大数据技术第二关大数据从入门到实战 - 第2章分布式文件系统HDFS
第1关 HDFS的基本操作 pwd 回车 cd / 回车 mkdir /develop 回车 mkdir /develop/input 回车 mkdir /develop/output 回车 star ...
大数据从入门到实战-HDFS-JAVA接口之上传文件
FSDataOutputStream对象我们知道在Java中要将数据输出到终端,需要文件输出流,HDFS的JavaAPI中也有类似的对象. FileSystem类有一系列新建文件的方法,最简单的方法 ...
大数据从入门到实战——Hive综合应用案例 ——学生成绩查询
Hive综合应用案例 - 学生成绩查询第1关计算每个班的语文总成绩和数学总成绩第2关查询选修了3门以上的课程的学生姓名第3关课程选修人数第4关 shujuku课程的平均成绩第1关计算 ...
大数据从入门到实战- 信息挖掘 - 挖掘父子关系
你编写的程序要能挖掘父子辈关系,给出祖孙辈关系的表格.规则如下: 孙子在前,祖父在后: 输入文件路径:/user/reduce/input: 输出文件路径:/user/reduce/output. 代 ...
1.8-1.10 大数据仓库的数据收集架构及监控日志目录日志数据，实时抽取之hdfs系统上...
一.数据仓库架构二.flume收集数据存储到hdfs 文档:http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#hd ...
大数据与Hadoop有什么关系？大数据Hadoop入门简介
学习着数据科学与大数据技术专业(简称大数据)的我们,对于"大数据"这个词是再熟悉不过了,而每当我们越去了解大数据就越发现有个词也会一直被提及那就是--Hadoop 那Hadoop与 ...

大数据从入门到实战 --HDFS系统初体验

大数据从入门到实战 --HDFS系统初体验相关推荐

最新文章

热门文章