大数据处理实验（三）HDFS基本操作实验
HDFS基本操作实验
- 1、Hadoop配置环境变量
- 2、列出当前目录下的文件
- 3、级联创建一个文件夹，类似这样一个目录：/mybook/input
- 4、上传文件至HDFS
- 5、从HDFS上下载文件
- 6、查看HDFS上某个文件的内容
- 6、统计目录下各文件的大小（单位：字节B）
- 7、删除HDFS上某个文件或者文件夹
- 8、使用help命令寻求帮助
HDFS的基本命令格式:hdfs dfs -cmd <args>
注意：需要事先将HADOOP_HOME/bin目录配置进入环境变量。
1、Hadoop配置环境变量
进入实验二创建的master容器
sudo docker start master
sudo docker exec -it master /bin/bash
参考文章：Hadoop配置环境变量
https://blog.csdn.net/sinat_38079265/article/details/108599800
进入hadoop安装目录
cd /usr/local/hadoop-3.2.1
进入文件
vi /etc/profile
配置环境变量
export HADOOP_HOME=/usr/local/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
第一行的的HADOOP_HOME是你的hadoop安装的位置。
保存环境变量
source /etc/profile
按照实验一步骤启动hadoop
2、列出当前目录下的文件
hdfs dfs -ls
在HDFS创建文件夹:hdfs dfs -mkdir <文件夹名称>
3、级联创建一个文件夹，类似这样一个目录：/mybook/input
hdfs dfs -mkdir -p <文件夹名称>
4、上传文件至HDFS
hdfs dfs -put <源路径> <目标存放路径>
5、从HDFS上下载文件
hdfs dfs -get <HDFS文件路径> <本地存放路径>
6、查看HDFS上某个文件的内容
hdfs dfs -text <HDFS上的文件存放路径>hdfs dfs -cat <HDFS上的文件存放路径>
6、统计目录下各文件的大小（单位：字节B）
hdfs dfs -du <目录路径>
7、删除HDFS上某个文件或者文件夹
hdfs dfs -rm <文件>hdfs dfs -rm -r <文件夹>
8、使用help命令寻求帮助
hdfs dfs -help <命令>
大数据处理实验（三）HDFS基本操作实验相关推荐
- ZUCC_大数据计算技术_实验三 HDFS编程实践
实验三 HDFS编程实践 课程名称 大数据计算技术 实验项目名称 实验三 HDFS编程实践 启动hadoop 一.利用Shell命令与HDFS进行交互 1. 目录操作 新建家目录 可以看到新建目录内无 ...
- 二叉树的基本运算实验报告C语言,实验三 二叉树基本操作与应用实验
实验三 二叉树基本操作与应用实验 第三次实验主要包括两部分内容:1.二叉树基本操作实验:2.二叉树应用-赫夫曼树与赫夫曼编码实验.基本操作包括存储结构建立和遍历算法,本文只给出部分参考程序,请大家尽量 ...
- HDFS基本操作实验
HDFS基本操作实验 HDFS的基本命令格式 列出当前目录下的文件 在HDFS创建文件夹 级联创建一个文件夹,类似这样一个目录:/mybook/input 上传文件至HDFS 从HDFS上下载文件 查 ...
- matlab操作入门实验报告,MATLAB基本操作实验报告.doc
MATLAB基本操作实验报告MATLAB基本操作实验报告 南昌航空大学 数学与信息科学学院 实 验 报 告 课程名称: 实验名称: 实验类型: 验证性 综合性□ 设计性□ 实验室名称: 班级学号: 学 ...
- 计算机模拟双缝干涉实验报告,电磁场与微波实验三报告——双缝干涉实验.docx...
<电磁场与微波实验三报告--双缝干涉实验.docx>由会员分享,提供在线免费全文阅读可下载,此文档格式为docx,更多相关<电磁场与微波实验三报告--双缝干涉实验.docx>文 ...
- 红灯停绿灯行c语言编程,C语言 实验三C语 实验三.doc
C语言 实验三C语 实验三 1221410042 张锦华 18.3 最简单的C程序设计 -----实验报告 (1)①源程序 #include void main() {int a,b; float d ...
- 单片机广告灯实验总结_单片机实验三(广告灯实验)分析报告.ppt
微机原理与接口技术(A)实验三 广告灯实验 1.状态信息窗口 2.程序区与数据区 3.智能一键通 4.智能一键通设置状态窗口 5.文件更新按钮 6.复位目标板 7.操作状态窗口 8.菜单与工具条 9. ...
- linux实验三shell程序设计,实验三 LINUX SHELL编程
精选文库 -实验三LINUX SHELL 编程 四.实验内容 本实验包含两个具体的SHELL程序编写任务,较为全面地涉及了SHELL 程序的设计方法和技术.内容如下: 1.创建以下菜单程序: USER ...
- python实验三答案_20192116 实验三《Python程序设计》实验报告
20192116 2019-2020-2 <Python程序设计>实验三报告 课程:<Python程序设计> 班级: 1921 姓名: 饶欢 学号:20192116 实验教师: ...
最新文章
- RecyclerView显示加载多种布局的原理
- REST API URI 设计的七准则
- python 之 linecache 用法记录
- java excel解析视频教程_java解析Excel（xls、xlsx两种格式）
- mysql作为kafka生产者_Kafka之生产者
- Windows 10 IoT Core 17101 for Insider 版本更新
- Flask爱家租房--发布新房源（总结）
- c语言中申请内存并初始化,c语言中结构体的定义、初始化及内存分配
- DeeCamp2019年笔试题A卷
- 网络安装centos5.4
- 阿里百川SDK初始化失败 错误码是203
- Chrome开发者工具对于异常请求不显示Response内容
- Cisco ASDM-IDM 安装配置for Windows10
- html查看今天星期几,jquery怎么获取星期几
- c语言中while（a）、if（a）、while（！a）、if（！a）、if（%a）是什么意思？
- 给初学和业余学习中医的朋友
- Linux 网络编程: daytime Service
- 珍贵数学文献（II）
- 数据结构期末考试——选择题
- Ubuntu 10.04环境下载编译Android-2.2.1 （froyo） 源代码 1/2