溜达豆瓣的时候,发现一些图片,懒得一个一个扒,之前写过c#和python版本的图片下载,因此拿之前的Python代码来改了改,折腾出一个豆瓣版本,方便各位使用

# -*- coding:utf8 -*-
import urllib2, urllib, socket
import re
import requests
from lxml import etree
import os, timeDEFAULT_DOWNLOAD_TIMEOUT = 30class AppURLopener(urllib.FancyURLopener):version = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT)"def check_save_path(save_path):if not os.path.exists(save_path):os.makedirs(save_path)def get_image_name(image_link):file_name = os.path.basename(image_link)return file_namedef save_image1(image_link, save_path):file_name = get_image_name(image_link)file_path = save_path + "\\" + file_nameprint("准备下载{0} 到{1}".format(image_link, file_path))try:urllib._urlopener = AppURLopener()socket.setdefaulttimeout(DEFAULT_DOWNLOAD_TIMEOUT)urllib.urlretrieve(url=image_link, filename=save_path)return Trueexcept Exception, ex:print(ex.args)print("下载文件出错:{0}".format(ex.message))return Falsedef save_image(image_link, save_path):file_name = get_image_name(image_link)file_path = save_path + "\\" + file_nameprint("准备下载{0} 到{1}".format(image_link, file_path))try:file_handler = open(file_path, "wb")image_handler = urllib2.urlopen(url=image_link, timeout=DEFAULT_DOWNLOAD_TIMEOUT).read()file_handler.write(image_handler)return Trueexcept Exception, ex:print("下载文件出错:{0}".format(ex.message))return Falsedef get_thumb_picture_link(thumb_page_link):try:html_content = urllib2.urlopen(url=thumb_page_link, timeout=DEFAULT_DOWNLOAD_TIMEOUT).read()html_tree = etree.HTML(html_content)# print(str(html_tree))link_tmp_list = html_tree.xpath('//div[@class="photo_wrap"]/a[@class="photolst_photo"]/img/@src')page_link_list = []for link_tmp in link_tmp_list:page_link_list.append(link_tmp)return page_link_listexcept Exception, ex:print(ex.message)return []def download_pictures(album_link, min_page_id, max_page_id, picture_count_per_page, save_path):check_save_path(save_path)min_page_id = 0while min_page_id < max_page_id:thumb_page_link = album_link + "?start={0}".format(min_page_id * picture_count_per_page)thumb_picture_links = get_thumb_picture_link(thumb_page_link)for thumb_picture_link in thumb_picture_links:full_picture_link = thumb_picture_link.replace("photo/lthumb", "photo/large")save_flag = save_image(image_link=full_picture_link, save_path=save_path)if not save_flag:full_picture_link = thumb_picture_link.replace("photo/thumb", "photo/photo")save_image(image_link=full_picture_link, save_path=save_path)time.sleep(1)min_page_id += 1print("下载完成")# 设置图片保存的本地文件夹
save_path = "J:\\douban\\gugu"
# 设置相册地址,注意以反斜杠结尾
album_link = "https://www.douban.com/photos/album/1625969357/"
# 设置相册总页数
max_page_id = 11
# 设置每页图片数量,默认为18张
picture_count_per_page = 18download_pictures(album_link=album_link,min_page_id=1,max_page_id=max_page_id,picture_count_per_page=picture_count_per_page,save_path=save_path)

=============================================================

相对urllib2来说,urllib 真的比较坑,如果不设置User-Agent,下载速度会超慢无比,另外还需要调用socket模块来设置超时时间,比较折腾,最终可能还会踩到其他坑里去,比如我下着下着就被豆瓣给‘屏蔽’啦,so建议使用urllib2。

相关参考链接:

http://www.jb51.net/article/57239.htm

http://www.crifan.com/use_python_urllib-urlretrieve_download_picture_speed_too_slow_add_user_agent_for_urlretrieve/comment-page-1/

=============================================================

国庆最后一天,祝各位国庆快乐!

python--批量下载豆瓣图片相关推荐

  1. python下载网页里面所有的图片-Python批量下载网页图片详细教程

    很多朋友在网上查找批量下载图片的方法~发觉挺凌乱的,无从下手.这里绿茶小编就来跟大家分享下使用Python批量下载图片方法. 目标:爬取某个网站上n多页的链接,每个链接有n多张图片,每一页对应一个文件 ...

  2. python批量下载必应图片

    梗概:我是个化验师,我们可是也要我们做PPT,医学知识往往繁多复杂,要是有比较好的照片配合文字,可以大大增加PPT的效果.必应这个网站可以搜索到比较有价值的医学图片,要是你输入一个医学名词,同样的搜索 ...

  3. python批量下载网页文件-Python批量下载网页图片详细教程

    目标:爬取某个网站上n多页的链接,每个链接有n多张图片,每一页对应一个文件夹,每个文件夹包含n个链接所对应的文件夹. 步骤1:获得网页的所有链接,访问所有链接,获得链接里的图片地址. 步骤2:根据图片 ...

  4. python 批量下载网页图片_Python实现多线程批量下载图片

    <派森>(Python)3.13 win32 英文安装版 类型:编程工具大小:21M语言:英文 评分:8.7 标签: 立即下载 爬取图片可真的是一个可遇不可求的机会. 有需求就会动力. 目 ...

  5. python 批量下载网页图片_手把手教你爬取天堂网1920*1080大图片(批量下载)——实战篇|python基础教程|python入门|python教程...

    https://www.xin3721.com/eschool/pythonxin3721/ /1 前言/ 上篇文章 手把手教你爬取天堂网1920*1080大图片(批量下载)--理论篇我们谈及了天堂网 ...

  6. 用IDM 和 python 批量下载webp图片

    今天遇到了一个新的需求.网站上有许多webp图片,直接打开它,拒绝访问,浏览器打开也403,一看就是被保护了.写了python批量来下也失败.最后用IDM试一下,居然可以下载.但是一个一个下载太麻烦了 ...

  7. python批量下载txt图片批量导入到ppt

    初步有各个楼盘图片的相关网址,想批量导入到ppt,编相应序号,保证每一张一个楼盘,每页展示6-8张图片.第一步:根据相关网址批量下载图片 相关网址放入file_url_text.txt中,形成列表 ​ ...

  8. python批量下载网页图片,不用再复制粘贴了(7)

    此为教程笔记 教程地址:https://study.163.com/course/courseMain.htm?courseId=1209401897 感谢老师:城市数据团大鹏 代码非常少,想要全部代 ...

  9. 用python批量下载网络图片大全_实战干货:用 Python 批量下载百度图片!

    为了做一个图像分类的小项目,需要制作自己的数据集.要想制作数据集,就得从网上下载大量的图片,再统一处理. 这时,一张张的保存下载,就显得很繁琐.那么,有没有一种方法可以把搜索到的图片直接下载到本地电脑 ...

  10. python批量下载网页图片及列表

    背景: 放假在家里没事鼓捣了一个用python实现的简单网页信息抓取的程序. demo功能: 将千图网的商业海报http://www.58pic.com/topic/419-1.html的(海报名字 ...

最新文章

  1. 【Dual-Path-RNN-Pytorch源码分析】loss函数:SI-SNR
  2. Mysql5.5配置主从复制
  3. uclinux内核线程的创建(转)
  4. 使用openssl,实现输入和输出都是字符串的类型,注意:输入最好是16的倍数
  5. 数据库中间件漫谈——看看云时代,它会走向何方
  6. kali2.0安装mysql,Ubuntu/kali上安装MySQL,设置远程访问详细教程
  7. 计算机办公软件的使用技巧,实用的Word小技巧集锦(1)办公软件知识 -电脑资料
  8. php用正则匹配远程图片,php中通过正则表达式下载内容中的远程图片的函数代码...
  9. 自定义request链路跟踪
  10. zz 教你如何用proxyhunter找大学代理
  11. 如何求解最大公约数和最小公倍数
  12. 2019 春季算法工程师实习生招聘历程
  13. 别愁了,预测模型这样做!
  14. 微信小程序实现首页图片多种排版布局!
  15. 使用lgb.cv时出现ValueError: Supported target types are: (‘binary‘, ‘multiclass‘). Got ‘continuous‘ instea
  16. 位运算符之---按位取反运算符(简单易懂)
  17. Python编程基础-函数
  18. Python语言学习讲解十:列表推导式
  19. 亚马逊卖家api_亚马逊如何吸引手工卖家并将其晾干
  20. 【MATLAB】高塔观测数据波文比法计算感热及潜热通量

热门文章

  1. sql in里面可以放多少参数_如何从文本文件读入 SQL 参数
  2. oracle元数据到ods,将元数据存储到Jackrabbit存储库中
  3. c语言switch同时比较多个变量,C语言学习if和switch分支选择结构
  4. 2016重庆计算机一级考试题型,重庆计算机一级考试真题2016年最新(笔试+上机)
  5. linux ppp漏洞,Linux下ppp拨号的实现(Arm)
  6. java url特殊字符转义字符_URL中包含有特殊字符,进行转义
  7. python精确计时_PYTHON在WINDOWS下高精度计时的体会
  8. java socket编程客户端_Java Socket编程 - 基于Socket实现HTTP下载客户端
  9. mysql 5.6 生产my.cnf_一个生产可用的mysql参数文件my.cnf
  10. 图(Graph)的学习