为什么80%的码农都做不了架构师?>>>   

抓取图片的程序有借鉴http://www.oschina.net/code/snippet_1243392_27700,

自己做了一些改进,模拟了浏览器请求,防止请求被服务器中断。

# _*_ coding: utf-8 _*_
#---------------------------------------
#   程序:抓取 豆瓣妹子 图片
#   版本:0.1
#   作者:liu jia
#   日期:2014-01-07
#   语言:Python 2.7
#   说明:只是一个简单的测试,借鉴了之前开源中国的程序,为之加上了模拟请求,防止被服务器拒绝请求
#---------------------------------------import urllib2
import os
import cookielib
from bs4 import BeautifulSoup
cookie = cookielib.CookieJar()
cookie_handler = urllib2.HTTPCookieProcessor(cookie)header = {'User-Agent': 'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.72 Safari/537.36'
}path = os.getcwd()
new_path = os.path.join(path, u'豆瓣妹子')
if not os.path.isdir(new_path):os.makedirs(new_path, 7777)page_number = 1def get_image():global page_numberurl = 'http://www.dbmeizi.com/?p=%s' % page_numbersite_url = 'http://www.dbmeizi.com'request = urllib2.Request(url=url, headers=header)opener = urllib2.build_opener(cookie_handler)response = opener.open(request)page = response.read()soup = BeautifulSoup(page)for image in soup.findAll('img'):if not image:exit()file_handler = urllib2.urlopen(site_url+image['data-bigimg']).read()with open(u'豆瓣妹子/'+image['data-bigimg'][-11:], 'wb') as empty_file:empty_file.write(file_handler)print image['data-bigimg']page_number += 1print '第%s页下载完毕,现在开始下载第%s页' % (page_number,page_number+1)get_image()get_image()

图片过多,又写了一个程序把自己电脑上面的这些图片放到七牛,毕竟这些图片被别人看见了不太好,是不是过于猥琐了。

# _*_ coding: utf-8 _*_
#---------------------------------------
#   程序:把本地文件上传到七牛云服务器
#   版本:0.1
#   作者:liu jia
#   日期:2014-01-07
#   语言:Python 2.7
#   说明:只是一个简单的测试,并且,为了自己的安全 :)
#---------------------------------------import qiniu.conf
import sys
import os
#登录后从#https://portal.qiniu.com/setting/key获取
qiniu.conf.ACCESS_KEY = "xxxxxxxxxxxxxxxxxxx"
qiniu.conf.SECRET_KEY = "xxxxxxxxxxxxxxxxxxx"import qiniu.io
import qiniu.rs
policy = qiniu.rs.PutPolicy('xxxxx')# 空间名即bucket_name
uptoken = policy.token()extra = qiniu.io.PutExtra()
extra.mime_type = "image/jpeg"path = os.getcwd()
print path
picture_path = os.path.join(path, u'豆瓣妹子')
for item in os.listdir(picture_path):item = picture_path+'\\'+itemret, err = qiniu.io.put_file(uptoken, None, item, extra)print item+'---------uploaded'
if err is not None:sys.stderr.write('error: %s ' % err)exit()

转载于:https://my.oschina.net/sonice/blog/191926

python抓取豆瓣妹子图片并上传到七牛相关推荐

  1. php大图片接口上传慢,七牛php sdk上传文件太慢

    问题描述 上传同一个文件(32kb)有时候需要2s,但有时候需要11s,上传速度太不稳定,且太慢. 上传的过程是由前端上传文件到后端php(使用yii2框架)的接口,由php调qiniu的sdk上传方 ...

  2. 使用python抓取落网期刊图片

    使用python抓取落网期刊图片 虽然使用python开发也将近两年了,但工作中使用python更多处理业务逻辑,数据加工等,难免有些枯燥.乏味.一直听闻python在web数据爬取.数据分析上有无可 ...

  3. 数据分析与挖掘案例之使用python抓取豆瓣top250电影数据进行分析

    使用python抓取豆瓣top250电影数据进行分析 抓取豆瓣Top250电影数据的链接和电影名称 代码如下: import urllib.request as urlrequest from bs4 ...

  4. python豆瓣影评_使用Python抓取豆瓣影评数据的方法

    抓取豆瓣影评评分 正常的抓取 分析请求的url https://movie.douban.com/subject/26322642/comments?start=20&limit=20& ...

  5. Python | 使用Python爬取Wallhaven网站壁纸并上传百度网盘

    更多详情请查看Honker Python | 使用Python爬取Wallhaven网站壁纸并上传百度网盘 给大家推荐一款超好用的壁纸下载网站-- wallhaven 第一次知道这个网站的时候,惊为天 ...

  6. laravel上传到七牛图片插件

    1.首先引入两个插件 2.在https://developer.qiniu.com/kodo/sdk/1241/php找到安装命令 在终端运行composer require qiniu/php-sd ...

  7. Vue爬坑之旅(二十一):vue使用富文本编辑器vue-quill-editor实现配合后台将图片上传至七牛

    一.全局注册:main.js import Vue from 'vue' import VueQuillEditor, { Quill } from 'vue-quill-editor' import ...

  8. php(TP5)图片无损压缩上传到七牛云

    php图片无损压缩上传到七牛云 private $image; //重绘图片private $imageinfo; //重绘图片的具体信息(array)private $percent = 1; // ...

  9. 通过图片地址上传到七牛云

    通过图片地址上传到七牛云 composer 安装 七牛云 PHP-SDK php composer.phar require qiniu/php-sdk <?php use Qiniu\Auth ...

  10. 七牛云图床php,PHP实现Markdown文章上传到七牛图床的实例内容

    在使用 Markdown 编写文章之后,经常需要发布到不同的平台,这里会遇到一个问题,文章的图片需要手动的进行上传,管理起来非常不方便,因此,强烈建议将图片统一上传到图床中,这样的话一篇文章就可以轻松 ...

最新文章

  1. DHCP自动分配地址;DHCP指定IP给客户端
  2. spring全局异常抓取validation校验信息
  3. 每日一皮:没有好好测试就运行,还自信的不得了...
  4. linux的简单面试题,收集的一些简单的UNIX/Linux面试题
  5. 获腾讯增持,B站二次元的商业化道路仍布满荆棘
  6. Python技巧-教你用Python告白小姐姐(附代码)
  7. 使用Spring StateMachine框架实现状态机
  8. 计算机网络与维护考试题,《网络管理与维护》试题库.doc
  9. linux parted命令,Linux分区之parted命令详解
  10. mysql 2003 10038_关于MySql10038错误的完美解决方法(三种)
  11. AAAI 2019 使用循环条件注意力结构探索回答立场检测任务
  12. 集合python_Python 集合
  13. vue-cli3+element-ui+vuex+nodejs+mysql前端项目记录
  14. YYText的介绍和使用
  15. RROR: Check hive‘s usability failed, please check the status of your cluster解决办法
  16. 【埋点体系】(一)-埋点的理解
  17. python 灰度图像素灰度值求和_图像灰度值 灰度值与像素值的关系
  18. 关于笔记本加固态硬盘装系统的问题的解决办法
  19. Java面试题!深度解析跳槽从开始到结束完整流程,吊打面试官
  20. 新媒体运营避开这四个雷区,你也可以策划出10万+创意素材! | 黎想

热门文章

  1. 零基础一周学会PIC单片机视频教程
  2. 《TCP/IP详解 卷1:协议》PDF分享
  3. 可编辑的电子海图系统功能拓展与应用
  4. Algorithm:数学建模大赛(CUMCM/NPMCM)之CUMCM之2006B之2006之B题《艾滋病疗法的评价及疗效的预测》
  5. 基于切比雪夫多项式的简单GCN网络
  6. 《物流系统_SSM》项目研发总结
  7. 谈谈目前国内IDC主机管理系统现状和使用感受
  8. ENVI--气象及环境卫星数据处理
  9. 用户心中十大最具影响力国产软件评选揭晓
  10. flex和blazeds_使用BlazeDS和AMF构建Web和桌面应用程序