python sdk怎么用_如何使用七牛Python SDK写一个同步脚本及使用教程
七牛云存储的 Python 语言版本 SDK(本文以下称 Python-SDK)是对七牛云存储API协议的一层封装,以提供一套对于 Python 开发者而言简单易用的开发工具。Python 开发者在对接 Python-SDK 时无需理解七牛云存储 API 协议的细节,原则上也不需要对 HTTP 协议和原理做非常深入的了解,但如果拥有基础的 HTTP 知识,对于出错场景的处理可以更加高效。
最近刚搭了个markdown静态博客,想把图片放到云存储中。
经过调研觉得七牛可以满足我个人的需求,就选它了。
要引用图片就要先将图片上传到云上。
虽然七牛网站后台可以上传文件,但每次上传都需要先登录,然后选择图片,设置连接地址,才能上传。
这个过程有些繁琐,所以我便想用七牛云提供的SDK写个一同步工具,方便增量同步文件。
有了这个想法,就马上行动。花了大概一个上午的时间,总算把这个工具给写出来,并放到GitOSC和github上。
#!/usr/bin/env python
#-*- coding:utf-8 -*-
#
# AUTHOR = "heqingpan"
# AUTHOR_EMAIL = "heqingpan@126.com"
# URL = "http://git.oschina.net/hqp/qiniu_sync"
import qiniu
from qiniu import Auth
from qiniu import BucketManager
import os
import re
access_key = ''
secret_key = ''
bucket_name = ''
bucket_domain = ''
q = Auth(access_key, secret_key)
bucket = BucketManager(q)
basedir=os.path.realpath(os.path.dirname(__file__))
filename=__file__
ignore_paths=[filename,"{0}c".format(filename)]
ignore_names=[".DS_Store",".git",".gitignore"]
charset="utf8"
diff_time=2*60
def list_all(bucket_name, bucket=None, prefix="", limit=100):
rlist=[]
if bucket is None:
bucket = BucketManager(q)
marker = None
eof = False
while eof is False:
ret, eof, info = bucket.list(bucket_name, prefix=prefix, marker=marker, limit=limit)
marker = ret.get('marker', None)
for item in ret['items']:
rlist.append(item["key"])
if eof is not True:
# 错误处理
#print "error"
pass
return rlist
def get_files(basedir="",fix="",rlist=None,ignore_paths=[],ignore_names=[]):
if rlist is None:
rlist=[]
for subfile in os.listdir(basedir):
temp_path=os.path.join(basedir,subfile)
tp=os.path.join(fix,subfile)
if tp in ignore_names:
continue
if tp in ignore_paths:
continue
if os.path.isfile(temp_path):
rlist.append(tp)
elif os.path.isdir(temp_path):
get_files(temp_path,tp,rlist,ignore_paths,ignore_names)
return rlist
def get_valid_key_files(subdir=""):
basedir=subdir or basedir
files = get_files(basedir=basedir,ignore_paths=ignore_paths,ignore_names=ignore_names)
return map(lambda f:(f.replace("\\","/"),f),files)
def sync():
qn_keys=list_all(bucket_name,bucket)
qn_set=set(qn_keys)
l_key_files=get_valid_key_files(basedir)
k2f={}
update_keys=[]
u_count=500
u_index=0
for k,f in l_key_files:
k2f[k]=f
str_k=k
if isinstance(k,str):
k=k.decode(charset)
if k in qn_set:
update_keys.append(str_k)
u_index+=1
if u_index > u_count:
u_index-=u_count
update_file(k2f,update_keys)
update_keys=[]
else:
# upload
upload_file(k,os.path.join(basedir,f))
if update_keys:
update_file(k2f,update_keys)
print "sync end"
def update_file(k2f,ulist):
ops=qiniu.build_batch_stat(bucket_name,ulist)
rets,infos = bucket.batch(ops)
for i in xrange(len(ulist)):
k=ulist[i]
f=k2f.get(k)
ret=rets[i]["data"]
size=ret.get("fsize",None)
put_time = int(ret.get("putTime")/10000000)
local_size=os.path.getsize(f)
local_time=int(os.path.getatime(f))
if local_size==size:
continue
if put_time >= local_time - diff_time:
# is new
continue
# update
upload_file(k,os.path.join(basedir,f))
def upload_file(key,localfile):
print "upload_file:"
print key
token = q.upload_token(bucket_name, key)
mime_type = get_mime_type(localfile)
params = {'x:a': 'a'}
progress_handler = lambda progress, total: progress
ret, info = qiniu.put_file(token, key, localfile, params, mime_type, progress_handler=progress_handler)
def get_mime_type(path):
mime_type = "text/plain"
return mime_type
def main():
sync()
if __name__=="__main__":
main()
这个同步脚本支持批量比较文件,差异增量更新、批量更新。
使用方式
安装七牛Python SDK
pip install qiniu
填写脚本文件(qiniusync.py)的配置信息
access_key = ''
secret_key = ''
bucket_name = ''
注册后可以拿到对应的信息
将脚本文件(qiniusync.py)拷贝到待同步根目录
运行脚本
python qiniusync.py
后记
写完提交之后才发现,七牛已经提供相应的工具,我这个算是重复造轮子吧。
既然已经写,就发出来,当做熟悉一下七牛的SDK也不错,说不定以后还能用的上。
七牛云存储Python SDK使用教程
本教程旨在介绍如何使用七牛的Python SDK来快速地进行文件上传,下载,处理,管理等工作。
安装
首先,要使用Python的SDK必须要先安装。七牛的Python SDK是开源的,托管在Github上面,项目地址为 https://github.com/qiniu/python-sdk 。
安装的方式可以如项目的说明上所说,用 pip install qiniu 。当然也可以直接 clone 一份源代码下来直接使用。我一般喜欢直接 clone 源代码,这样的话,如果要对SDK做一些改动也是十分容易的。
最新版本的Python SDK需要依赖 requests 库,所以要提前安装好。安装方式当然也可以用 pip install requests 。
开发环境
Python的开发环境有很多种选择,如果喜欢文本的方式,比如vim,emacs,sublime text等都是很好的选择,如果你喜欢IDE,那么最流行的莫过于 PyCharm 了。 PyCharm 的最新版本到 这里下载。
Access Key和Secret Key
我们知道七牛云存储的权限校验机制基于一对密钥,分别称为 Access Key 和 Secret Key 。其中 Access Key 是公钥, Secret Key 是私钥。这一对密钥可以从七牛的后台获取。
小试牛刀
好了,做了上面的这些准备工作,我们就去上传一个简单的文件,练练手。
python
#coding=utf-8
__author__ = 'jemy'
'''
本例演示了一个简单的文件上传。
这个例子里面,sdk根据文件的大小选择是Form方式上传还是分片上传。
'''
import qiniu
accessKey = ""
secretKey = ""
#解析结果
def parseRet(retData, respInfo):
if retData != None:
print("Upload file success!")
print("Hash: " + retData["hash"])
print("Key: " + retData["key"])
#检查扩展参数
for k, v in retData.items():
if k[:2] == "x:":
print(k + ":" + v)
#检查其他参数
for k, v in retData.items():
if k[:2] == "x:" or k == "hash" or k == "key":
continue
else:
print(k + ":" + str(v))
else:
print("Upload file failed!")
print("Error: " + respInfo.text_body)
#无key上传,http请求中不指定key参数
def upload_without_key(bucket, filePath):
#生成上传凭证
auth = qiniu.Auth(accessKey, secretKey)
upToken = auth.upload_token(bucket, key=None)
#上传文件
retData, respInfo = qiniu.put_file(upToken, None, filePath)
#解析结果
parseRet(retData, respInfo)
def main():
bucket = "if-pbl"
filePath = "/Users/jemy/Documents/jemy.png"
upload_without_key(bucket, filePath)
if __name__ == "__main__":
main()
运行结果为:
Upload file success!
Hash: Fp0XR6tM4yZmeiKXw7eZzmeyYsq8
Key: Fp0XR6tM4yZmeiKXw7eZzmeyYsq8
从上面我们可以看到,使用七牛的Python SDK上传文件的最基本的步骤是:
1.生成上传凭证
2.上传文件
3.解析回复结果
小结
综上所述,其实使用七牛的SDK来上传文件还是很简单的,接下来的教程,我们将在这个例子的基础上逐步了解更多关于文件上传的知识。
python sdk怎么用_如何使用七牛Python SDK写一个同步脚本及使用教程相关推荐
- python编写圣诞树代码_圣诞节啊,用Python写一棵圣诞树出来
实图: 效果如图:哈哈哈哈哈... Python源代码: from random import randint from time import sleepimport coloramafrom co ...
- shell备份mysql思路_写一个shell脚本备份mysql数据库的步骤
写一个shell脚本备份mysql数据库的步骤 发布时间:2020-05-25 15:47:41 来源:51CTO 阅读:221 作者:三月 下文我给大家简单讲讲关于写一个shell脚本备份mysql ...
- 用 Python + itchat 写一个爬虫脚本每天定时给女朋友发微信暖心话
项目介绍: 灵感来源 在掘金看到了一篇<用Node+wechaty写一个爬虫脚本每天定时给女(男)朋友发微信暖心话>后,我就想为什么不用 Python 去实现这个功能呢. JUST TO ...
- 七牛云 转码_七牛云存储 - 七牛 php sdk 上传 转码 问题
实在是不会用 sdk 呀 都蒙圈了 求大神 指点 vendor('Qiniu.io'); vendor('Qiniu.rs'); $bucket = 'icunzai-voice'; $key = $ ...
- 使用七牛的sdk上传报错:incorrect region
报错响应大致如下 exception:None, status_code:404, _ResponseInfo__response:<Response [404]>, text_body: ...
- python应用程序开发者_用 NVIDIA ISAAC-SDK 在 Python 中开发机器人应用程序
图 1 .使用 Jupyter 笔记本和 ISAAC SDK Python API 在 ISAAC Sim 中控制虚拟机器人. NVIDIA ISAAC 软件开发工具包 的模块化和易于使用的感知堆栈继 ...
- python动态执行代码_第6.6节 Python动态执行小结
一. Python动态执行支持通过输入数据流或文件传入Python源代码串,进行编译后执行,可以通过这种方式扩展Python程序的功能: 二. 动态执行方法可能导致恶意攻击,因此使用时需要 ...
- python抽奖概率设计_辞职转行不如学Python,那些下载安装的坑,你真的都避开了嘛?...
现在的职场竞争越来越激烈,不学上一两门新技能,保持自己知识更新,很容易被年轻后辈超越.有些人选择学一门外语,有些人选择学习职场上为人处事的能力. 有人选择Python. 因为,就业市场需要Python ...
- python gui测试框架_八款常用的 Python GUI 开发框架推荐
作为Python开发者,你迟早都会用到图形用户界面来开发应用.本文将推荐一些 Python GUI 框架,希望对你有所帮助,如果你有其他更好的选择,欢迎在评论区留言. Python 的 UI 开发工具 ...
最新文章
- 无需标注数据集,自监督注意力机制就能搞定目标跟踪
- linux学习——大话linux网络
- django ORM相关的那些操作汇总
- 计算机网络发展第二阶段 兴起于,计算机辅助开始于计算机发展第几阶段
- 基于matlab的语音信号,科学网—[转载]【信息技术】【2014.06】【含源码】基于MATLAB的语音信号处理与分析 - 刘春静的博文...
- c读取txt文件内容并建立一个链表_C++链表实现学生信息管理系统
- 求Sn = a+aa+aaa+...+aaaaaa(n个a),其中a是一个数字,n代表a的位数,例如 2+22+222+2222+22222(此时n=5),n由键盘输入。
- EasyUI动画效果
- cat6 万兆_cat6 万兆
- 学生a3制图标题栏尺寸手绘_机械制图基本知识讲解,机械视图的投影画法
- php get获取腾讯视频vid,获取腾讯视频源地址链接的方法
- Linux发行版Ubuntu教程
- 企业安全建设-蜜标(honeytokens)
- 修改assets文件内容
- 阿里云对象存储OSS中上传的资源在生成URL链接时直接在浏览器中打开而不是下载的问题解决方法
- 用Python告诉你深圳房租有多高?
- CSS (3) | 盒子
- 设备管理器中:红叉问号感叹号的涵义
- 6.webpack4打包图片资源
- 金融信贷风控实战(一)
热门文章
- Leet Code OJ 15. 3Sum[Difficulty: Medium]
- hypermesh 复合材料_【技术邻】HyperMesh复合材料建模——坐标系调整
- Effective Java之用接口模拟可伸缩的枚举(三十四)
- 搜索引擎设计实用教程(3)-以百度为例
- zoj 3209 Dancing links/hust 1017
- ES6新增数据类型符号(2):共享符号与知名符号
- 普通索引和唯一索引,傻傻分不清楚?
- java 简单的计算器程序,Java 简易计算器程序
- python找指定内容_python查找指定具有相同内容文件的方法
- 纯C写Windows程序系列---------VS2010设置纯C环境 .