python抓取豆瓣妹子图片并上传到七牛
为什么80%的码农都做不了架构师?>>>
抓取图片的程序有借鉴http://www.oschina.net/code/snippet_1243392_27700,
自己做了一些改进,模拟了浏览器请求,防止请求被服务器中断。
# _*_ coding: utf-8 _*_
#---------------------------------------
# 程序:抓取 豆瓣妹子 图片
# 版本:0.1
# 作者:liu jia
# 日期:2014-01-07
# 语言:Python 2.7
# 说明:只是一个简单的测试,借鉴了之前开源中国的程序,为之加上了模拟请求,防止被服务器拒绝请求
#---------------------------------------import urllib2
import os
import cookielib
from bs4 import BeautifulSoup
cookie = cookielib.CookieJar()
cookie_handler = urllib2.HTTPCookieProcessor(cookie)header = {'User-Agent': 'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.72 Safari/537.36'
}path = os.getcwd()
new_path = os.path.join(path, u'豆瓣妹子')
if not os.path.isdir(new_path):os.makedirs(new_path, 7777)page_number = 1def get_image():global page_numberurl = 'http://www.dbmeizi.com/?p=%s' % page_numbersite_url = 'http://www.dbmeizi.com'request = urllib2.Request(url=url, headers=header)opener = urllib2.build_opener(cookie_handler)response = opener.open(request)page = response.read()soup = BeautifulSoup(page)for image in soup.findAll('img'):if not image:exit()file_handler = urllib2.urlopen(site_url+image['data-bigimg']).read()with open(u'豆瓣妹子/'+image['data-bigimg'][-11:], 'wb') as empty_file:empty_file.write(file_handler)print image['data-bigimg']page_number += 1print '第%s页下载完毕,现在开始下载第%s页' % (page_number,page_number+1)get_image()get_image()
图片过多,又写了一个程序把自己电脑上面的这些图片放到七牛,毕竟这些图片被别人看见了不太好,是不是过于猥琐了。
# _*_ coding: utf-8 _*_
#---------------------------------------
# 程序:把本地文件上传到七牛云服务器
# 版本:0.1
# 作者:liu jia
# 日期:2014-01-07
# 语言:Python 2.7
# 说明:只是一个简单的测试,并且,为了自己的安全 :)
#---------------------------------------import qiniu.conf
import sys
import os
#登录后从#https://portal.qiniu.com/setting/key获取
qiniu.conf.ACCESS_KEY = "xxxxxxxxxxxxxxxxxxx"
qiniu.conf.SECRET_KEY = "xxxxxxxxxxxxxxxxxxx"import qiniu.io
import qiniu.rs
policy = qiniu.rs.PutPolicy('xxxxx')# 空间名即bucket_name
uptoken = policy.token()extra = qiniu.io.PutExtra()
extra.mime_type = "image/jpeg"path = os.getcwd()
print path
picture_path = os.path.join(path, u'豆瓣妹子')
for item in os.listdir(picture_path):item = picture_path+'\\'+itemret, err = qiniu.io.put_file(uptoken, None, item, extra)print item+'---------uploaded'
if err is not None:sys.stderr.write('error: %s ' % err)exit()
转载于:https://my.oschina.net/sonice/blog/191926
python抓取豆瓣妹子图片并上传到七牛相关推荐
- php大图片接口上传慢,七牛php sdk上传文件太慢
问题描述 上传同一个文件(32kb)有时候需要2s,但有时候需要11s,上传速度太不稳定,且太慢. 上传的过程是由前端上传文件到后端php(使用yii2框架)的接口,由php调qiniu的sdk上传方 ...
- 使用python抓取落网期刊图片
使用python抓取落网期刊图片 虽然使用python开发也将近两年了,但工作中使用python更多处理业务逻辑,数据加工等,难免有些枯燥.乏味.一直听闻python在web数据爬取.数据分析上有无可 ...
- 数据分析与挖掘案例之使用python抓取豆瓣top250电影数据进行分析
使用python抓取豆瓣top250电影数据进行分析 抓取豆瓣Top250电影数据的链接和电影名称 代码如下: import urllib.request as urlrequest from bs4 ...
- python豆瓣影评_使用Python抓取豆瓣影评数据的方法
抓取豆瓣影评评分 正常的抓取 分析请求的url https://movie.douban.com/subject/26322642/comments?start=20&limit=20& ...
- Python | 使用Python爬取Wallhaven网站壁纸并上传百度网盘
更多详情请查看Honker Python | 使用Python爬取Wallhaven网站壁纸并上传百度网盘 给大家推荐一款超好用的壁纸下载网站-- wallhaven 第一次知道这个网站的时候,惊为天 ...
- laravel上传到七牛图片插件
1.首先引入两个插件 2.在https://developer.qiniu.com/kodo/sdk/1241/php找到安装命令 在终端运行composer require qiniu/php-sd ...
- Vue爬坑之旅(二十一):vue使用富文本编辑器vue-quill-editor实现配合后台将图片上传至七牛
一.全局注册:main.js import Vue from 'vue' import VueQuillEditor, { Quill } from 'vue-quill-editor' import ...
- php(TP5)图片无损压缩上传到七牛云
php图片无损压缩上传到七牛云 private $image; //重绘图片private $imageinfo; //重绘图片的具体信息(array)private $percent = 1; // ...
- 通过图片地址上传到七牛云
通过图片地址上传到七牛云 composer 安装 七牛云 PHP-SDK php composer.phar require qiniu/php-sdk <?php use Qiniu\Auth ...
- 七牛云图床php,PHP实现Markdown文章上传到七牛图床的实例内容
在使用 Markdown 编写文章之后,经常需要发布到不同的平台,这里会遇到一个问题,文章的图片需要手动的进行上传,管理起来非常不方便,因此,强烈建议将图片统一上传到图床中,这样的话一篇文章就可以轻松 ...
最新文章
- DHCP自动分配地址;DHCP指定IP给客户端
- spring全局异常抓取validation校验信息
- 每日一皮:没有好好测试就运行,还自信的不得了...
- linux的简单面试题,收集的一些简单的UNIX/Linux面试题
- 获腾讯增持,B站二次元的商业化道路仍布满荆棘
- Python技巧-教你用Python告白小姐姐(附代码)
- 使用Spring StateMachine框架实现状态机
- 计算机网络与维护考试题,《网络管理与维护》试题库.doc
- linux parted命令,Linux分区之parted命令详解
- mysql 2003 10038_关于MySql10038错误的完美解决方法(三种)
- AAAI 2019 使用循环条件注意力结构探索回答立场检测任务
- 集合python_Python 集合
- vue-cli3+element-ui+vuex+nodejs+mysql前端项目记录
- YYText的介绍和使用
- RROR: Check hive‘s usability failed, please check the status of your cluster解决办法
- 【埋点体系】(一)-埋点的理解
- python 灰度图像素灰度值求和_图像灰度值 灰度值与像素值的关系
- 关于笔记本加固态硬盘装系统的问题的解决办法
- Java面试题!深度解析跳槽从开始到结束完整流程,吊打面试官
- 新媒体运营避开这四个雷区,你也可以策划出10万+创意素材! | 黎想