php 连接hadoop hdfs,Hadoop HDFS操作

启动HDFS

首先，格式化配置HDFS文件系统，打开NameNode(HDFS服务器)，然后执行以下命令。

$ hadoop namenode -format

格式化HDFS后，启动分布式文件系统。以下命令将启动名称节点和数据节点的集群。

$ start-dfs.sh

HDFS的文件列表

加载服务器信息后，使用'ls' 可以找出文件列表中的目录，文件状态。下面给出的是ls，可以传递一个目录或文件名作为参数的语法。

$ $HADOOP_HOME/bin/hadoop fs -ls

将数据插入到HDFS

假设在本地系统，这是所谓的file.txt文件中的数据,应当保存在HDFS文件系统。按照下面给出插入在Hadoop的文件系统所需要的文件的步骤。

第1步

必须创建一个输入目录。

$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/input

第2步

传输并使用本地系统put命令，Hadoop文件系统中存储的数据文件。

$ $HADOOP_HOME/bin/hadoop fs -put /home/file.txt /user/input

第3步

可以使用ls命令验证文件。

$ $HADOOP_HOME/bin/hadoop fs -ls /user/input

从HDFS中检索数据

假设在HDFS文件名为outfile。下面给出的是一个简单的演示用于检索从Hadoop文件系统所需的文件。

第1步

最初，使用cat命令来查看来自HDFS的数据。

$ $HADOOP_HOME/bin/hadoop fs -cat /user/output/outfile

第2步

从HDFS得到文件使用get命令在本地文件系统。

$ $HADOOP_HOME/bin/hadoop fs -get /user/output/ /home/hadoop_tp/

关闭HDFS

可以使用下面的命令关闭HDFS。

$ stop-dfs.sh

¥ 我要打赏

纠错/补充

加QQ群啦，易百教程官方技术学习群

注意：建议每个人选自己的技术方向加群，同一个QQ最多限加 3 个群。

php 连接hadoop hdfs,Hadoop HDFS操作相关推荐

大数据技术之Hadoop分布式文件系统HDFS系统知识整理（从入门到熟练操作）
系列博客 1.大数据技术之Hadoop完全分布式集群搭建+Centos7配置连通外网和主机 2.大数据技术之Hadoop编译源码 3.大数据技术之Hadoop分布式文件系统HDFS系统知识整理(从入门 ...
2021年大数据Hadoop（十二）：HDFS的API操作
2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习. 有对大数据感兴趣的可以关注微信公众号:三帮大数据目录 HDFS的API操作 ...
学习笔记Hadoop（十）—— Hadoop基础操作（2）—— HDFS常用Shell操作
三.HDFS常用Shell操作 3.1.HDFS文件系统 HDFS Shell 指的是可以使用类似shell的命令来直接和Hadoop分布式文件系统(HDFS)进行交互. 使用命令: bin/hado ...
Hadoop开发第6期---HDFS的shell操作
一.HDFS的shell命令简介我们都知道HDFS 是存取数据的分布式文件系统,那么对HDFS 的操作,就是文件系统的基本操作,比如文件的创建.修改.删除.修改权限等,文件夹的创建.删除.重命名等. ...
Hadoop安装及hdfs操作
** Hadoop安装及hdfs操作如下 ** 先安装完成了centos7,首先要对宿主机(windows)和虚拟机(centos7)的网络进行测试,保证虚拟机可以与宿主机互通. 在宿主机按下wind ...
Hadoop : hdfs的客户端操作
hdfs的客户端操作 hdfs--分布式文件系统功能:帮用户管理文件机制:用户的文件会被切块后存储在多台Datanode服务器中,并且每个文件块都会在整个集群中存储多个副本.副本的数量可以由用户指定 ...
Atittit HDFS hadoop 大数据文件系统java使用总结目录 1. 操作系统，进行操作 1 2. Hdfs 类似nfs ftp远程分布式文件服务 2 3. 启动hdfs服务start
Atittit HDFS hadoop 大数据文件系统java使用总结目录 1. 操作系统,进行操作 1 2. Hdfs 类似nfs ftp远程分布式文件服务 2 3. 启动hdfs服务start- ...
Hadoop 3.x（HDFS）----【HDFS 的 Shell 操作】
Hadoop 3.x(HDFS)----[HDFS 的 Shell 操作] 1. 基本语法 2. 命令大全 3. 常用命令实操 1. 准备工作 2. 上传 3. 下载 4. HDFS直接操作 1. 基 ...
Hadoop中HDFS的Shell操作（开发重点）、启动Hadoop集群、基本语法、常用命令实操、命令大全、-help、-mkdir、-moveFromLocal、-copyFromLocal
文章目录 6.HDFS的Shell操作(开发重点) 6.1基本语法 6.2命令大全 6.3常用命令实操 6.3.1准备工作 6.3.1.1启动Hadoop集群(方便后续的测试) 6.3.1.2-hel ...
hadoop系统 hdfs 命令行操作
转自:https://blog.csdn.net/sjhuangx/article/details/79796388 Hadoop文件系统shell命令列表: https://hadoop.apach ...

php 连接hadoop hdfs,Hadoop HDFS操作

php 连接hadoop hdfs,Hadoop HDFS操作相关推荐

最新文章

热门文章