Python系列之入门篇——HDFS

简介

HDFS (Hadoop Distributed File System) Hadoop分布式文件系统，具有高容错性，适合部署在廉价的机器上。Python
提供了两种接口方式，分别是hdfscli(Restful Api Call)，pyhdfs(RPC Call)，这一节主要讲hdfscli的使用

代码示例

安装
pip install hdfs
引入相关模块
from hdfs import *
创建客户端
""" It has two different kind of client, Client and InsecureClient. Client: cannot define file owner InsecureClient: can define file owner, default None """ hdfs_root_path = 'http://localhost:50070' fs = Client(hdfs_root_path) fs = InsecureClient(hdfs_root_path, user='hdfs')
创建目录
""" Change file permission to 777, default None """ fs.makedirs('/test', permission=777)
写文件
""" Write append or not depends on the file is exist or not strict: If `False`, return `None` rather than raise an exception if the path doesn't exist. """ content = fs.content(hdfs_file_path, strict=False) if content is None: fs.write('/test/test.txt', data=data, permission=777) else: fs.write('/test/test.txt', data=data, append=True)
上传文件
""" overwrite default False, if don't set True, when you upload the file which is exist in hdfs, it will raise File is exist Exception. """ client.upload(hdfs_path, local_path, overwrite=True)
总结
还没有找到判断文件是否存在的方法，目前代码示例中用fs.content()来替换，如果大家有更好的方式，也麻烦分享给我

转载于:https://www.cnblogs.com/dzqk/p/8328510.html

Python系列之入门篇——HDFS相关推荐

Python系列之入门篇——python2.7.13安装
Python2.7.13 安装说明以下所有操作都基于centos6.9 1. Issue zlib zlib-devel是安装setuptools依赖的模块,需要在安装python之前先安装这两个 ...
c# hdf5 写string_Pandas系列之入门篇——HDF5
Python系列之入门篇--HDF5 简介 HDF5(层次性数据格式)作用于大数据存储,其高效的压缩方式节约了不少硬盘空间,同时也给查询效率带来了一定的影响,压缩效率越高,查询效率越低.pandas ...
Yocto系列讲解[入门篇] 1 - 快速入门熟悉Yocto的构建
By: fulinux E-mail: fulinux@sina.com Blog: https://blog.csdn.net/fulinus 喜欢的盆友欢迎点赞和订阅! 你的喜欢就是我写作的动力! ...
【IPFS + 区块链系列】入门篇 - IPFS + Ethereum （下篇）-ipfs + Ethereum 大图片存储
目录 1. 系列文章 2. 项目描述及效果展示 3. 阅读本文需要掌握的知识 4. 源码 5. 运行程序 6. 技术交流 1. 系列文章 [IPFS + 区块链系列] 入门篇 - IPFS环境配置 ...
IPFS + 区块链系列】入门篇 - IPFS + Ethereum （中篇）-js-ipfs-api - 图片上传到IPFS以及下载
目录 1. 项目效果图 2. 创建React项目 3. 完成UI逻辑 4. 安装ipfs-api 5. App.js导入IPFS 6. 实现上传图片到IPFS的Promise函数 7. 上传图片到IP ...
IPFS + 区块链系列】入门篇 - IPFS + Ethereum （上篇）-js-ipfs-api
目录 1. 内容简介 2. IPFS-HTTP效果图 3. 实现步骤 3.1 安装create-react-app 3.2 React项目创建 3.3 运行React项目 3.4 浏览项目 3.5 安 ...
树莓派python开发教程_树莓派教程（基于python编程）--入门篇
原标题:树莓派教程(基于python编程)--入门篇一:格式化SD卡 SD卡插入读卡器连接电脑,使用SDFormatter对SD卡进行格式化 (重装烧录也要进行着SD卡格式化操作) 二:下载官方镜像 ...
猿编程python代码_程序猿编程课堂 Python学习之入门篇3：简单的数据类型
1. 什么是数据类型? 我们知道编程就是编写程序解决某个问题,而任何能使用编程来解决的问题都是能够提取或者转换出相应的数据,只是数据的表达形式是不一样的,而这表达形式就是数据类型. 比如,数学中的数字 ...
程序猿编程课堂 Python学习之入门篇1：环境搭建与第一个程序
前言: Python作为目前比较热门的编程语言,其简单和简洁的语法使它成为一种非常好的通用编程语言,它是一种面向对象的动态类型语言,最初被设计用于编写自动化脚本(shell),并且随着版本的不断更新和 ...

Python系列之入门篇——HDFS

Python系列之入门篇——HDFS

简介

代码示例

Python系列之入门篇——HDFS相关推荐

最新文章

热门文章