(一)、HDFS shell操作

                 以上已经介绍了如何搭建伪分布式的Hadoop,既然环境已经搭建起来了,那要怎么去操作呢?这就是本节将要介绍的内容:HDFS自带有一些shell命令,通过这些命令我们可以去操作HDFS文件系统,这些命令与Linux的命令挺相似的,如果熟悉Linux的命令很容易就可以上手HDFS的命令,关于这些命令的官方文档地址如下:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapredCommands.html1.1  首先我们在/data下创建一个测试文件:[root@web02 data]# vim hello.txt18/04/07 12:03:05 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable如果遇到以上报错修改[root@web02 hadoop]# pwd /usr/local/src/hadoop-2.6.0-cdh5.7.0/etc/hadoop [root@web02 hadoop]# vim log4j.properties 添加: log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

1.2查看文件系统的根目录

                            [root@web02 data]# hdfs dfs -ls /

1.3.将刚刚创建的文件拷贝到文件系统的根目录下:

                            [root@web02 data]# hdfs dfs -ls / Found 1 items-rw-r--r--   1 root supergroup         37 2018-04-07 12:04 /hello.txt [root@web02 data]#

1.4.查看文件内容:

                           [root@web02 data]# hdfs dfs -cat /hello.txthello You 66 OHadoop HDFS mpareduce

1.5创建目录

                         [root@web02 data]# hdfs dfs -mkdir /test[root@web02 data]# hdfs dfs -ls /Found 2 items-rw-r--r--   1 root supergroup         37 2018-04-07 12:04 /hello.txt drwxr-xr-x - root supergroup 0 2018-04-07 12:20 /test [root@web02 data]#

1.6递归创建目录

                          [root@web02 data]# hdfs dfs -mkdir -p /test/a/b/c

1.7查看递归目录

                           [root@web02 data]# hdfs dfs -ls -R /

1.8复制文件

                   [root@web02 data]# hdfs dfs -copyFromLocal                               ./hello.txt /test/a/b[root@web02 data]# hdfs dfs -ls -R /-rw-r--r--   1 root supergroup         37 2018-04-07 12:04 /hello.txtdrwxr-xr-x   - root supergroup          0 2018-04-07 12:22 /testdrwxr-xr-x   - root supergroup          0 2018-04-07 12:22 /test/a drwxr-xr-x - root supergroup 0 2018-04-07 12:28 /test/a/b drwxr-xr-x - root supergroup 0 2018-04-07 12:22 /test/a/b/c -rw-r--r-- 1 root supergroup 37 2018-04-07 12:28 /test/a/b/hello.txt [root@web02 data]#

1.9从系统中拿出文件

                  [root@web02 data]# hdfs dfs -get /test/a/b/hello.txt

2.0删除文件

                  [root@web02 data]# hdfs dfs -rm /hello.txtDeleted /hello.txt[root@web02 data]#

2.1删除目录

               [root@web02 data]# hdfs dfs -rm -R /testDeleted /test[root@web02 data]#

以上就是最为常用的一些操作命令了,如果需要使用其他命令,直接执行hdfs dfs就可以查看到所支持的所有命令。

接下来我们在浏览器里查看文件系统,首先将刚刚删除的文件put回去:

2.2查看文件信息

转载于:https://www.cnblogs.com/syf-com/p/8861507.html

HDFS伪分布式环境搭建相关推荐

  1. HDFS伪分布式环境搭建-很不错

    HDFS伪分布式环境搭建 原创 ZeroOne01 2018-03-24 19:51:20 评论(0) 655人阅读 HDFS概述及设计目标 什么是HDFS: 是Hadoop实现的一个分布式文件系统( ...

  2. Hadoop单机和伪分布式环境搭建

    hadoop环境搭建 1.三个环境        单机.伪分布式.分布式 2.三个分支       apache版本(Apache基金会)       cdh版本(cloudera公司)       ...

  3. Hadoop2.2.0伪分布式环境搭建(附:64位下编译Hadoop-2.2.0过程)

    Hadoop2.2.0伪分布式环境搭建: 写在前面:Hadoop2.2.0默认是支持32位的OS,如果想要在64位OS下运行的话,可以通过在64位OS下面编译Hadoop2.2.0来实现,编译的操作步 ...

  4. Hadoop学习总结(3)——Hadoop伪分布式环境搭建

    一.Hadoop运行模式 Local (Standalone) Mode 本地模式 适用于开发人员测试Debug 使用本地文件系统 Pseudo-Distributed Mode 伪分布式模式 适用于 ...

  5. 第1关:伪分布式环境搭建

    实验环境: hadoop2.7: JDK8: HBase2.1.1: hadoop已安装: JDK已安装,环境变量已配置: HBase压缩包已下载,存放在/opt目录下. 在搭建环境之前我们首先来了解 ...

  6. Hadoop入门基础教程 Hadoop之伪分布式环境搭建

    伪分布式模式即单节点集群模式,所有的守护进程都运行在同一台机器上.这种模式下增加了代码调试功能,可以查看内存.HDFS文件系统的输入/输出,以及与其他守护进程交互.以Hadoop用户远程登录K-Mas ...

  7. hadoop2.9.1伪分布式环境搭建以及文件系统的简单操作

    1.准备 1.1.在vmware上安装centos7的虚拟机 1.2.系统配置 配置网络 # vi /etc/sysconfig/network-scripts/ifcfg-ens33 BOOTPRO ...

  8. 看完就能独自把集群搭起来!Hadoop HDFS完全分布式环境搭建以及技术详解

    作者 | 慢慢变成大佬 责编 | Carol 出品 | CSDN云计算(ID:CSDNcloud) 在文章开始之前,作者想要告诉大家:读懂本篇文章,能让小白快速入门,并且能够搭建完全分布式的集群,以及 ...

  9. Hadoop小兵笔记【五】hadoop2.2.0伪分布式环境搭建疑难-第一个用例wordcount失败

    问题现象 问题原因 由于参考了之前研究生阶段下载的资料,按照真分布式环境一步步配置,觉得只是将datanode同时存放在namenode,将hdfs-site.xml文件中的dfs.replicati ...

最新文章

  1. jni android 参数 字符串 jstring,2.4.5 jstring介绍
  2. php单元测试断言方法
  3. jmeter时间函数格林尼治时间_Jmeter时间函数工具(参考)
  4. Redis流水线性能提高
  5. 解决python调试模型时,多次重复加载数据集与模型,节约大量等待时间
  6. jquery知识点总结(转)
  7. 3624用计算机怎么换算,pa与mpa的换算(压力单位pa与mpa)
  8. Python实现的爬取百度文
  9. android win7 共享网络打印机,win7设置局域网共享打印机
  10. 送给天下程序员的诗 (原创)
  11. Singularity 代码阅读笔记[结构: Struct_Microsoft_Singularity_BootInfo]
  12. XGBoost股票预测
  13. CAD图形导入3dmax方法及注意要点
  14. html怎么把图片做成抖动效果,css简单实现图片logo抖动摇晃效果
  15. HTML5制作二级菜单(主菜单的子菜单)
  16. 端口号被占用:The Tomcat connector configured to listen on port “端口号“ failed to start.
  17. 如何通过数据分析选品(以新零售为例)
  18. 作为一个Android程序员,关于音视频开发,这些你确定这些你都懂了吗
  19. 在处理时有错误发生:google-chrome-stable/
  20. 生物网络中基于节点相似度的链路预测图卷积

热门文章

  1. [MFC] MFC编译程序,缺少MFC动态链接库的解决
  2. Maven出现User setting file does not exist ...\.m2\setting.xml的问题解决(同时也解决用户.m2目录下无setting.xml文件)...
  3. firefox兼容性问题
  4. linux 编译C语言代码后产生OBJ文件的方法
  5. sql server 2008数据复制
  6. C#.net Winform获取文件路径
  7. 分享Kali Linux 2017年第24周镜像文件
  8. Swift3.0语言教程获得一个公共的前缀
  9. iOS 9音频应用播放音频之第一个ios9音频实例
  10. ​Unity 2D游戏开发教程之2D游戏的运行效果