本文为在校学习大数据课程期间，对厦门大学林子雨老师大数据技术原理与应用第三章分布式文件系统HDFS学习指南一文进行的整理，方便自己学习查看
原文地址为大数据技术原理与应用第三章分布式文件系统HDFS学习指南
操作系统为Ubuntu16.04
虚拟机为VirtualBox

一、HDFS文件操作

启动Hadoop

cd /usr/local/hadoop
./sbin/start-dfs.sh #启动hadoop

1.shell命令与HDFS交互

1.1目录操作

第一次使用HDFS时，需要首先在HDFS中创建用户目录。

cd /usr/local/hadoop
./bin/hdfs dfs –mkdir –p /user/hadoop

列出HDFS上所有目录

./bin/hdfs dfs –ls

创建一个input目录

 ./bin/hdfs dfs –mkdir input #相对路径，完整路径为“/user/hadoop/input”

1.2文件操作

使用vim在本地Linux系统“/home/hadoop/”目录下创建一个文件myLocalFile.txt

Hadoop
Spark
XMU DBLAB

本地文件系统的“/home/hadoop/myLocalFile.txt”上传到HDFS中的当前用户目录的input目录

./bin/hdfs dfs -put /home/hadoop/myLocalFile.txt  input

查看HDFS中input目录下文件

./bin/hdfs dfs –ls input

Found 1 items
-rw-r--r--   1 hadoop supergroup         36 2022-03-18 10:47 input/ myLocalFile.txt

查看HDFS中myLocalFile.txt这个文件的内容

./bin/hdfs dfs –cat input/myLocalFile.txt

HDFS中myLocalFile.txt文件下载到本地文件系统中的“/home/hadoop/下载/”目录

./bin/hdfs dfs -get input/myLocalFile.txt  /home/hadoop/下载

HDFS中文件从一个目录拷贝到另一个目录中，如将“/user/hadoop/input/myLocalFile.txt”文件，拷贝到HDFS的另外一个目录“/user/hadoop/input01/”中

./bin/hdfs dfs -cp input/myLocalFile.txt  input01

2.运行程序部署

将IDE中java文件打jar包至Linux中/usr/local/hadoop/myapp目录下(jar包导出操作详见置顶原文)

使用hadoop jar命令运行程序

cd /usr/local/hadoop
./bin/hadoop jar ./myapp/HDFSExample.jar
#或者
cd /usr/local/hadoop
java -jar ./myapp/HDFSExample.jar

大数据上机基础—HDFS文件操作相关推荐

hdfs mv命令_大数据入门：HDFS文件管理系统简介
Hadoop作为大数据主流的基础架构选择,至今仍然占据着重要的地位,而基于Hadoop的分布式文件系统HDFS,也在大数据存储环节发挥着重要的支撑作用.今天的大数据入门分享,我们就主要来讲讲HDFS分 ...
大数据技术基础实验三：HDFS实验——部署HDFS
大数据技术基础实验三:HDFS实验--部署HDFS 文章目录大数据技术基础实验三:HDFS实验--部署HDFS 一.前言二.实验要求三.实验原理 1.什么是HDFS? 2.HDFS的体系结构 3 ...
Hadoop大数据零基础高端实战培训系列配文本挖掘项目
<Hadoop大数据零基础高端实战培训系列配文本挖掘项目(七大亮点.十大目标)> 课程讲师:迪伦课程分类:大数据适合人群:初级课时数量:230课时用到技术:部署Hadoop集群涉 ...
大数据入门基础系列之初步认识大数据生态系统圈（博主推荐）
不多说,直接上干货! 之前在微信公众平台里写过大数据入门基础系列之初步认识hadoop生态系统圈 http://mp.weixin.qq.com/s/KE09U5AbFnEdwht44FGrOA 大 ...
python大数据零基础_零基础学习大数据人工智能，学习路线篇！
大数据处理技术怎么学习呢?首先我们要学习Python语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后. Python:Python 的排名从去年开始就借助人工智能持续上升,现在它 ...
[大数据计算基础] 大数据计算系统
大数据计算系统大数据计算框架的几个要素 : • 计算场景: 适用于何种任务使用? • 抽象:程序员看到的框架是什么样的? • API:程序员如何使用框架? • 系统架构:系统有哪些模块? • 基本数 ...
大数据入门培训之大数据开发基础知识学习
在目前相信大多数IT开发人员对于人工智能+大数据并不陌生,使用的场景也越来越广,日常开发中前端同学也逐渐接触了更多与大数据相关的开发需求.因此对大数据知识也有必要进行一些学习理解,带大家来学习了解一下 ...
Hadoop大数据零基础高端实战培训系列课程分享
第一阶段:Hadoop基础篇(50课时) - 千里之行,始于足下(赠送课程) 课程一.基于Linux操作系统平台下的Java语言开发(20课时) 本套课程主要介绍了Linux系统下的Java环境 ...
大数据开发：分布式文件存储系统简介
在分布式存储技术体系当中,分布式文件存储是其中的分类之一,也是大数据架构当中常常用到的.得益于Hadoop的高人气,Hadoop原生的HDFS分布式文件系统,也广泛为人所知.但是分布式文件存储系统,并 ...

大数据上机基础—HDFS文件操作