Requests + Pyquery下载图片

选取斗图网的url下载图片。

import os
import requests
from pyquery import PyQuery as pqheaders = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3423.2 Safari/537.36'
}def search():url = 'http://www.doutula.com/article/detail/7230988'try:response = requests.get(url, headers=headers)if response.status_code == 200:return response.textexcept requests.ConnectionError:return Nonedef get_image(html):doc = pq(html)title = doc('.container_ .list-group-item .pic-title').find('a').text()items = doc('.container_ .list-group-item .pic-content .artile_des').items()  # 如果不加.items()，items就不是pyquery对象for item in items:yield {'title': title,'sentence': item.find('.wr.pl').text(),'image': item.find('img').attr('src')}def save_image(item):if not os.path.exists(item.get('title')):os.mkdir(item.get('title'))try:response = requests.get(item.get('image'))if response.status_code == 200:file_path = '{0}/{1}.{2}'.format(item.get('title'), item.get('sentence'), 'jpg')  # 以图片名字命名的话，可能会有重复的，造成图片丢失# file_path = '{0}/{1}.{2}'.format(item.get('title'), md5(response.content).hexdigest(), 'jpg')  # 以图片内容的MD5值命名，去重# from hashlib import md5if not os.path.exists(file_path):with open(file_path, 'wb') as f:f.write(response.content)else:print('Already Download', file_path)except requests.ConnectionError:print('Failed to Save Image')def main():try:html = search()for item in get_image(html):print(item)save_image(item)finally:return Noneif __name__ == '__main__':main()

Requests + Pyquery下载图片相关推荐

python requests下载图片_Python使用urllib库、requests库下载图片的方法比较
我们知道,使用Python制作一个爬虫程序,requests库是一个不错的选择,requests发送网络请求非常简单,比较使用urllib库,使用requests库可以大大减少代码量,它还可以定制请求 ...
Python - Requests库下载图片
Python - Requests库下载图片 import requests# 获取网络图片资源 r = requests.get('https://www.baidu.com/img/bd_logo ...
python requests库下载图片保存到本地
import requests ''' 图片下载 @:param url_info ('http://img.xixik.net/custom/section/country-flag/xixik-c ...
python:利用requests库下载图片
今天非常兴奋,身为python小白的我经过数天的看视频和看书,终于看懂了一点,程序刚刚运行成功. 话不多说,马上分享! 这次用到的是requests库先来介绍下requests库 Requests是 ...
python + selenium +pyquery 爬虫爬取 1688详情图片阿里巴巴详情图片与标题下载图片并进行压缩
python + selenium +pyquery 爬虫爬取 1688详情图片阿里巴巴详情图片与标题下载图片并进行压缩用到的库和源码下载地址需要用到chromedriver 包含wi ...
使用requests下载图片，存到图片文件的方法
使用requests下载图片,存到图片文件的方法 url2 = '' method2 = 'get' res2 = requests.request(url=url2, method=method2) ...
python使用requests库下载单张图片的简单示例
python使用requests库下载单张图片的简单示例简要说明代码示例简要说明下载图片的核心代码如下: res = requests.get(url=img_url, headers=hea ...
python requests下载图片_Python requests库如何下载一个图片资源
原文地址https://blog.csdn.net/u011541946/article/details/77700074 前面一篇文章介绍了response对象的一些常用API,也已经提到,我们的重 ...
python requests html格式图片打不开_爬虫下载图片打不开是什么原因，最新简易爬虫教程...
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. (本文来自www.777n.com) 作者: GitPython (原文来 ...

Requests + Pyquery下载图片

Requests + Pyquery下载图片相关推荐

最新文章

热门文章