Hadoop中的一些基本操作

粗略说一下“hadoop fs”和“hadoop dfs”的区别：fs是各比较抽象的层面，在分布式环境中，fs就是dfs，但在本地环境中，fs是local file system，这个时候dfs不可用。

1、列出HDFS文件：

1	`hadoop fs –ls`

a) –ls后面不跟任何内容的话是列出HDFS的"/user/用户名/"目录下的内容

b) 如果要列出某个文件夹中的内容，则-ls后面跟该文件夹的路径，例如列出input中的内容：

1	`hadoop fs –ls input`

2、在HDFS中创建文件夹：

1	`hadoop fs –mkdir 文件夹的名字`

例如：

1	`hadoop fs –mkdir input`

3、删除HDFS中的文件或文件夹

1	`hadoop fs –rmr 文件夹名或者文件名`

4、上传文件到HDFS：

1	`hadoop fs –put ~/file test`

将本机中的file文件上传到HDFS上并重命名为test。

如果要上传到某个文件夹中，则将test改为文件夹的地址，此时，上传的文件名称不会改变，例如将本地文件

夹test中的文件test1.txt，test2.txt，test3.txt上传到HDFS中的input中：

1	`hadoop fs –put ~/test/test*.txt input`

5、查看HDFS下的某个文件：

1	`hadoop fs –cat 文件路径`

例如查看input中的test文件的内容：

1	`hadoop fs –cat input/test`

6、将HDFS中的文件复制到本地系统中：

1	`hadoop fs –get HDFS中的文件名本地系统中的文件名本地存放地址`

例如：将HDFS中的output文件复制到本地系统Documents文件夹中

1	`hadoop fs –get output /home/kevin/Documents/`

7、进入/退出安全模式

有时，在hadoop启动时不能对文件系统进行如创建文件，删除文件之类的操作，此时，文件系统所处的状态叫做安全模式，用途大家可以到网上搜一搜，笔者不在这里赘述（由于笔者属于初学者，HDFS上的东西还不多，节点也不多，所以笔者一般开启Hadoop后，不管有没有在安全模式，先输退出安全模式的命令）。

1 2	`hadoop dfsadmin –safemode enter` `hadoop dfsadmin –safemode leave`

Hadoop中的一些基本操作相关推荐

Zookeeper 在Hadoop中的应用
Zookeeper 简单介绍 Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目.它主要是用来解决分布式应用中常常遇到的一些数据管理问题,如:统一命名服务.状态同步服务.集 ...
数据蒋堂 | Hadoop中理论与工程的错位
作者:蒋步星来源:数据蒋堂校对:林亦霖本文共1400字,建议阅读6分钟. 本文分析了在Hadoop的设计和实现中的理论问题和工程问题. Hadoop是当前重要的大数据计算平台,它试图摒弃传统数据 ...
hadoop中的序列化与Writable类
本文地址:http://www.cnblogs.com/archimedes/p/hadoop-writable-class.html,转载请注明源地址. hadoop中自带的org.apache.h ...
hadoop中MapReduce中压缩的使用及4种压缩格式的特征的比较
在比较四中压缩方法之前,先来点干的,说一下在MapReduce的job中怎么使用压缩. MapReduce的压缩分为map端输出内容的压缩和reduce端输出的压缩,配置很简单,只要在作业的conf中 ...
3 weekend110的hadoop中的RPC框架实现机制 + hadoop中的RPC应用实例demo
hadoop中的RPC框架实现机制 RPC是Remotr Process Call, 进程间的远程过程调用,不是在一个jvm里. 即,Controller拿不到Service的实例对象. hadoop ...
Hadoop中Context类的作用和Mapper＜LongWritable, Text, Text, LongWritable＞.Context context是怎么回事【笔记自用】
问题导读: 1.Context能干什么? 2.你对Context类了解多少? 3.Context在mapreduce中的作用是什么? 下面我们通过来源码,来得到Context的作用: 下面主要对Set ...
Hadoop中任务提交运行流程
在Hadoop中提交一个任务大致分为6个步骤,分别为: 作业提交 -> 作业初始化 –> 任务分配 –> 任务执行 –> 更新任务执行进度和状态 -> 作业完成目录作 ...
Hadoop中Block和Split区别
两者是从不同的角度来定义的: HDFS以固定大小的block为基本单位存储数据(分布式文件系统,实际存储角度,物理存储单位): MapReduce以split作为处理单位(编程模型角度,逻辑单位): ...
C语言中文件的基本操作函数fprintf和fscanf实例介绍
C语言文章更新目录 C/C++学习资源(百度云盘链接) 计算机二级资料(过级专用) C语言学习路线(从入门到实战) 编写C语言程序的7个步骤和编程机制 C语言基础-第一个C程序 C语言基础-简单程序分 ...
matlab中的图像,MATLAB中图像的基本操作
MATLAB中图像的基本操作 1.读取.显示图片 MATLAB中提供了immread()与imshow()函数读取和显示图片.其中读取函数imread()原型: imread: A= imread(f ...

Hadoop中的一些基本操作

Hadoop中的一些基本操作相关推荐

最新文章

热门文章