Python向hdfs写入文件与hadoop命令向hdfs写入文件

首先需要安装pyhdfs，可用如下命令安装

pip install pyhdfs

首先我们如果先用hadoop原生命令来操作hdfs（分布式文件系统）上传文件。
命令如下

hadoop fs -put /home/hadoop1/software/data/two.txt /

其中-put上传，本地路径/home/hadoop1/software/data/two.txt，上传在HDFS的路径是 /

使用Python来操作hdfs写入文件的代码为

from pyhdfs import HdfsClient
client = HdfsClient(hosts='hadoop1:50070',user_name='root')
client.copy_from_local('/home/hadoop1/software/data/one.txt','/1')#本地文件绝对路径,HDFS目录必须不存在

其中hosts的参数为hdfs的url。user_name是本机的用户可以使用hadoop的用户。copy_from_local的第一个参数为本地路径。第二个参数为HDFS的路径，且这个路径不能已经存在。
Python读hdfs

from pyhdfs import HdfsClient
client=HdfsClient(hosts='hadoop1:50070')#hdfs的主机用户名和端口
res=client.open('/two.txt')#hdfs文件路径,从根目录计
for r in res:line=str(r,encoding='utf8')#open后是二进制,str()转换为字符串print(line)

Python创建新文件

from pyhdfs import HdfsClient
client = HdfsClient(hosts='hadoop1:50070',user_name='root')
str='666'
client.create('/py.txt',str)#创建新文件，写入字符串

部分参考Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV操作

Python向hdfs写入文件与hadoop命令向hdfs写入文件相关推荐

linux下载文件夹到本地命令行,linux下载文件到本地命令，linux下载文件到本地命令下载工具...
linux下载文件到本地命令,linux下载文件到本地命令下载工具来源:互联网/编辑:佚名/时间:2020-09-08 在手机上看扫一扫进入手机端 linux用户命令在哪个文件夹下用 whic ...
Hadoop HDFS概念学习系列之shell命令使用HDFS的一些其他命令（十九）
其他相关命令还包括以下这些: NameNode -format : 格式化DFS文件系统 secondaryNameNode : 运行DFS的SecndaryNameNode进程 NameNo ...
linux 安装上传文件,linux常用命令（二）文件上传下载及软件安装
1.上传下载工具安装 (1)WINDOWS 到linux的文件上传及下载: windows下打开secureCRT,通过SSH连到⾄至远程linux主机: 上传下载工具安装命令:yum -y inst ...
linux查找目录下含有xx的文件,linux基础命令介绍三：文件搜索及其它
1.linux中包含大量的文件,对于文件查找,linux提供了find命令. find是一个非常有效的工具,它可以遍历目标目录甚至整个文件系统来查找某些文件或目录: find [path...] [e ...
在Win10下解压linux压缩包,Win10如何解压缩文件?win10使用命令行来解压缩文件的方法...
电脑的硬盘空间是有限的,如果你的硬盘空间比较紧张,解压缩文件不失为一个好方法.,Win10如何解压缩文件呢?其实和ZIP文件压缩或者RAR文件压缩相比,使用命令行来解压缩文件会方便的多,因为你不需要创 ...
linux间服务器间文件传输,Linux命令scp服务器间文件传输教程
scp就是secure copy,是用来进行远程文件拷贝的.数据传输使用 ssh,并且和ssh 使用相同的认证方式,提供相同的安全保证 .那么你知道Linux命令scp服务器间文件传输教程么?接下来是 ...
在linux中更改文件权限的命令是,linux 更改文件权限命令 chmod
chmod -change file mode bits :更改文件权限 chmod是用来改变文件或者目录权限的命令,但只有文件的属主和超级用户(root)才有这种权限. 更改文件权限的2种方式: 一 ...
linux 移动剪切命令,Linux移动剪切文件和目录命令-Linux重命名文件和目录命令-Linux mv命令详解-嗨客网...
Linux移动或重命名文件或目录(mv)教程在 mv 命令会根据第二个参数类型的不同(是目标文件还是目标目录),将文件重命名或将其移至一个新的目录中.当第二个参数类型是文件时,mv 命令完成文件重命 ...
git 如何显示冲突文件夹_git命令行解决冲突文件步骤
亲测有用,解决git冲突的好办法方法一(推荐使用): git pull 出现冲突后丢弃本地冲突文件修改,采用远程文件覆盖本地文件 git checkout [文件路径] 例:git checkou ...

Python向hdfs写入文件与hadoop命令向hdfs写入文件

Python向hdfs写入文件与hadoop命令向hdfs写入文件相关推荐

最新文章

热门文章