[python][project][爬虫] 堆糖网图片下载

本文总结了在堆糖网下载图片的方法。

代码如下：

#-*- coding: utf-8 -*-import requests
import re
from bs4 import BeautifulSoup
import time
import os.path
import sys
import urllibif __name__ == "__main__":SearchContent_input=raw_input('请输入需要搜索的内容:\n')#开始计时Begintime = time.time()#对搜索内容进行url编码SearchContent=urllib.quote(SearchContent_input.decode(sys.stdin.encoding).encode('utf8'))url='https://www.duitang.com/search/?kw='+SearchContent+'&type=feed'    cont=requests.get(url).contentsoup = BeautifulSoup(cont,'html.parser')#Total Page NumMax_Page=soup.find('span',attrs={'id': 'G-totalpagenum'}).get_text()sum_pic=0for i in range(1,int(Max_Page)+1):print '正在下载第'+str(i)+'页，共'+str(Max_Page)+'页...'cont=requests.get(url).contentsoup = BeautifulSoup(cont,'html.parser')Content_list=soup.find_all('div',attrs={'class': 'woo'})num=1for content in Content_list:try:pic_id=img_src=content.find('img')['data-rootid']pic_url='https://www.duitang.com/blog/?id='+str(pic_id)cont=requests.get(pic_url).contentsoup_pic = BeautifulSoup(cont,'html.parser')img_src=soup_pic.find('a',attrs={'class': 'img-out'})['href']img_path=sys.path[0]+'/Download/'+SearchContent_input+'NO '+str(num+24*(i-1))+'.jpg'#下载大图urllib.urlretrieve(img_src,img_path)num=num+1sum_pic=sum_pic+1except:#下载一般图片img_src=content.find('img')['src']img_path=sys.path[0]+'/Download/'+SearchContent_input+'NO '+str(num+24*(i-1))+'.jpg'urllib.urlretrieve(img_src,img_path)num=num+1sum_pic=sum_pic+1url='https://www.duitang.com/search/?kw='+SearchContent+'&type=feed&start='+str(24*i)+'&limit=24'print '共计下载'+str(sum_pic)+'张图片'timeslot=time.time()-Begintimeprint '共用时'+str(int(timeslot)/60)+'min'+str(int(timeslot)%60)+'s'

代码原创，禁止随意转载，仅供学习交流使用

[python][project][爬虫] 堆糖网图片下载相关推荐

python 图片库_Python开发之千库网图片下载助手
千库网图片下载助手开发我是一个很爱美的人,写文章喜欢带点插图. 另外我也有一个VX公众账号,写推文总需要点封面图片和插图的嘛,为了看起来更加美观和优雅. 为此我在网上找了写图片,但是直接通过右键下载 ...
Python 实用爬虫-04-使用 BeautifulSoup 去水印下载 CSDN 博客图片
Python 实用爬虫-04-使用 BeautifulSoup 去水印下载 CSDN 博客图片其实没太大用,就是方便一些,因为现在各个平台之间的图片都不能共享,比如说在 CSDN 不能用简书的图片, ...
用Python爬取彼岸图网图片
用Python爬取彼岸图网图片 *使用了四个模块 import time import requests from lxml import etree import os 没有的话自行百度安装. ...
爬取推糖网图片小案例
前言: 好久没有更新博文了,因为工作的关系,一直没有更新博文,今天有空,就给大家带来一个爬图片的小案例.今天的目标网站就是堆糖网,关于爬取这个网站图片的案例,肯定大家都看到很多,基本都是通过搜索图片的 ...
利用python爬取qq个性网图片
利用python爬取qq个性网图片网站头像布局大同小异,稍改代码即可爬取想要的头像. 不多bb,上代码. import requests from parsel import Selector im ...
Python之爬虫-校花网
Python之爬虫-校花网 #!/usr/bin/env python # -*- coding:utf-8 -*-import re import requests# 拿到校花网主页的内容 resp ...
Python爬虫之女神网图片（三）
女神网是一个可以搜索女神的图片的网站. 废话不说,直接来干货: 环境配置: 系统环境:WIN7/8/10 编译环境:Python3+ 所需库:requests.re.os.pymongo.Beatif ...
Python网络爬虫：爬取并下载个性化签名图片附GUI窗体版
Hello,大家好,我是wangzirui32,最近我开了个新的系列,是"Python网络爬虫"分类,还请大家多多支持! 今天,我们来学习如何爬取并下载个性化签名图片,开始学习吧! ...
python爬虫教程视频下载-利用Python网络爬虫获取电影天堂视频下载链接【详细教程】...
相信大家都有一种头疼的体验,要下载电影特别费劲,对吧?要一部一部的下载,而且不能直观的知道最近电影更新的状态. 今天以电影天堂为例,带大家更直观的去看自己喜欢的电影,并且下载下来. [二.项目准备] ...
python下载电影天堂视频_一篇文章教会你利用Python网络爬虫获取电影天堂视频下载链接...
点击上方"IT共享之家",进行关注回复"资料"可获赠Python学习福利 [一.项目背景] 相信大家都有一种头疼的体验,要下载电影特别费劲,对吧?要一部一部的 ...

[python][project][爬虫] 堆糖网图片下载

[python][project][爬虫] 堆糖网图片下载相关推荐

最新文章

热门文章