python-weed的seaweedfs使用指南

今天公司需要下载几百万的图片数据，由于oss太过昂贵，故此被通知要使用seaweedfs来存储。seaweedfs的简介、搭建和配置这个就不讲了，记录一下使用过程。

因为最近使用python居多，所以查了下seaweedfs的python库，看了下就选择了python-weed库，安装后就可以使用，根据源码中提供的testweed.py，可以很容易就调用python-weed的接口。看了下源码，然后封装了下get和put接口，这里因为主要是下载图片，所以put接口扩展了使用resposne.content的功能（其实就是将response.content做一下io.Bytes的转换后调用crud_create接口）。然后，因为要对接口和批量下载进行测试，所以seaweedfs中存了很多无效数据，需要清理一下。

下面就记录一下批量清除seaweedfs的volume的方法，这个主要是看了一篇githup的帖子https://github.com/chrislusf/seaweedfs/wiki/Volume-Server-API，从而解决了要单独调用接口的问题。

1.清除volume：

先看下本机seaweedfs开启的端口，然后执行命令获取当前的volume的id；【也可以直接查看-dir的volume目录的文件，每个文件名称对应一个volume id】

curl "http://localhost:8081/status?pretty=y"

data@data:/home/lmm/save_filter2db_log$ ps -ef | grep weed

data 8598 1 0 6月03 ? 00:30:29 ./weed master -mdir ./weed_master/ -ip=192.168.1.23

data 10240 1 0 6月09 ? 00:13:46 ./weed volume -max=32 -mserver=192.168.1.23:9333 -dir=/data1/weed_volume_1 -port=8081 -ip=192.168.1.23

data 10254 1 0 6月09 ? 00:07:26 ./weed volume -max=32 -mserver=192.168.1.23:9333 -dir=/data2/weed_volume_2 -port=8082 -ip=192.168.1.23

然后执行命令删除指定volume id；

curl "http://localhost:8080/admin/volume/delete?volume=volumeId"

分别在各个node上执行以上命令，删除指定node的volume【删除完成后可以通过执行】。

上面这种方法经试ok。

2.还有一种方法，很方便但是未经测试，有心的可以测试一下并告诉我结果 233：

先查看weed的服务开启的目录，

data@data:/home/lmm/save_filter2db_log$ ps -ef | grep weed

data 8598 1 0 6月03 ? 00:30:29 ./weed master -mdir ./weed_master/ -ip=192.168.1.23

data 10240 1 0 6月09 ? 00:13:46 ./weed volume -max=32 -mserver=192.168.1.23:9333 -dir=/data1/weed_volume_1 -port=8081 -ip=192.168.1.23

data 10254 1 0 6月09 ? 00:07:26 ./weed volume -max=32 -mserver=192.168.1.23:9333 -dir=/data2/weed_volume_2 -port=8082 -ip=192.168.1.23

然后直接直接停掉所有的volume服务，删除掉/data1/weed_volume_1下的所有文件后重启master节点和node节点的volume服务。

就这么多，先记录下，后面有使用方面的问题再更新。

python-weed的seaweedfs使用指南相关推荐

Python神经网络集成技术Guide指南
Python神经网络集成技术Guide指南本指南将介绍如何加载一个神经网络集成系统并从Python运行推断. 提示所有框架的神经网络集成系统运行时接口都是相同的,因此本指南适用于所有受支持框架(包 ...
《Python和Pygame游戏开发指南》——2.16　pygame.display.update()函数
本节书摘来自异步社区<Python和Pygame游戏开发指南>一书中的第2章,第2.16节,作者[美]Al Sweigart(斯维加特), 李强译,更多章节内容可以访问云栖社区" ...
《Python和Pygame游戏开发指南》——1.12　图书中的文本折行
本节书摘来自异步社区<Python和Pygame游戏开发指南>一书中的第1章,第1.12节,作者[美]Al Sweigart(斯维加特), 李强译,更多章节内容可以访问云栖社区" ...
python入门必备指南-致Python初学者 Anaconda入门使用指南完整版
打算学习 Python 来做数据分析的你,是不是在开始时就遇到各种麻烦呢? 到底该装 Python2 呢还是 Python3 ? 为什么安装 Python 时总是出错? 怎么安装工具包呢? 为什么提示 ...
微软400集python课程-最强福利——来自微软的Python学习教程（开发指南）
各位小伙伴们,大家有多久没有发现柳猫这么勤奋的更新啦~ 今天给小伙伴们带来微软的官方福利,你没看错,就是来自微软的官方Python学习教程(开发指南)~ 之前微软上线过一套 Python 教程< ...
python编程入门指南代码库在哪下-致Python初学者 Anaconda入门使用指南完整版
打算学习 Python 来做数据分析的你,是不是在开始时就遇到各种麻烦呢? 到底该装 Python2 呢还是 Python3 ? 为什么安装 Python 时总是出错? 怎么安装工具包呢? 为什么提示 ...
Python中国际化(i18n)完整指南
这是一个完整的指南,展示了如何为一个Python应用程序进行国际化(i18n).当我在handroll项目中添加i18n时,我很难找到支持其他语言的明确建议.这是我个人的一点经验,解释了我是如何做到这 ...
Python自省（反射）指南 1
Python自省(反射)指南在笔者,也就是我的概念里,自省和反射是一回事,当然其实我并不十分确定一定以及肯定,所以如果这确实是两个不同的概念的话,还请多多指教 :) 转载请注明作者.出处并附上原文链 ...
python人门指南小说-致Python初学者 Anaconda入门使用指南完整版
打算学习 Python 来做数据分析的你,是不是在开始时就遇到各种麻烦呢? 到底该装 Python2 呢还是 Python3 ? 为什么安装 Python 时总是出错? 怎么安装工具包呢? 为什么提示 ...
Python 函数库 APIs 编写指南
本篇文章基于 2017 PyCon 大会上的演讲:How to make a good library API.列出对于构建 Python 库 API 有用的建议清单. 简洁性在 README 文 ...

python-weed的seaweedfs使用指南

python-weed的seaweedfs使用指南相关推荐

最新文章

热门文章