利用python爬虫爬取豆瓣读书-文学-名著的封面

获取至少两个页面的豆瓣读书—文学—名著的图书封面图片，将图片存到文件夹。

具体代码如下：

#dubanimage.py
import requests
from bs4 import BeautifulSoup
from urllib.request import unquote
def getHTMLText(url):headers={'cookie':'bid=_qmdmSYQXOc; dbcl2="220543507:+d6RaThYFJg"; __utmz=30149280.1632397619.1.1.utmcsr=open.weixin.qq.com|utmccn=(referral)|utmcmd=referral|utmcct=/; __utmz=81379588.1632397619.1.1.utmcsr=open.weixin.qq.com|utmccn=(referral)|utmcmd=referral|utmcct=/; gr_user_id=be1c71e2-9b29-4e83-806e-d0a89b910d61; _vwo_uuid_v2=D41176C23ACA6929AB402B1888C9C63EA|3f47235256a24db9916f2acdbf59b15a; push_noty_num=0; push_doumail_num=0; ck=re1Y; _pk_ref.100001.3ac3=%5B%22%22%2C%22%22%2C1632705896%2C%22https%3A%2F%2Fopen.weixin.qq.com%2F%22%5D; _pk_ses.100001.3ac3=*; __utma=30149280.752614146.1632397619.1632397619.1632705896.2; __utmc=30149280; __utma=81379588.1363756780.1632397619.1632397619.1632705896.2; __utmc=81379588; __gads=ID=5633b581aca0b950-22a74bafefcb00c7:T=1632705894:RT=1632705894:S=ALNI_Mbtv0al0B6qc6SDaGSertyE6-nW6Q; __utmt_douban=1; __utmb=30149280.3.10.1632705896; __utmt=1; __utmb=81379588.3.10.1632705896; _pk_id.100001.3ac3=51f2d584cbefc1de.1632397618.2.1632706827.1632397657.','user-agent':"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36 Edg/94.0.992.3",}try:r = requests.get(url,headers=headers)r.raise_for_status()r.encoding = 'utf-8'return r.textexcept:return ""
def parsePage(ilt,html):try:soup=BeautifulSoup(html,"html.parser")for img in soup.find_all('img',{"width":"90"}):ilt.append(img['src'])except:print("")
def main():start_url='https://book.douban.com/tag/%E5%90%8D%E8%91%97?start='last_url=urllib.request.unquote('https://book.douban.com/tag/%E5%90%8D%E8%91%97?start=')
#     print(last_url)imalist=[]for i in range(2):try:url=last_url+str(25*i)html = getHTMLText(url)parsePage(imalist,html)
#             print(html)except:continuex=0for u in imalist:r =requests.get(u)x=x+1with open('D://封面/'+str(x)+'.jpg','wb') as f:f.write(r.content)f.close()print("{}.jpg保存成功".format(x))
main()

运行结果如下：

利用python爬虫爬取豆瓣读书-文学-名著的封面相关推荐

python爬虫爬取豆瓣读书Top250
python爬虫爬取豆瓣读书Top250 话不多说,直接上代码! from urllib.request import urlopen, Request from bs4 import Beautif ...
Python爬虫爬取豆瓣读书
最近用Python写了个豆瓣读书的爬虫玩,方便搜罗各种美美书,分享给大家实现功能: 1 可以爬下豆瓣读书标签下的所有图书 2 按评分排名依次存储 3 存储到Excel中,可方便大家筛选搜罗,比如筛选 ...
python爬虫爬取豆瓣读书
python的课程设计,我爬取的是豆瓣的图书设计题目: 豆瓣读书的Python爬虫一.需求分析由于豆瓣上的图书良莠不齐,很难一下选择适合我们的图书,所以我想通过Python的爬虫程序,实现对豆 ...
Python爬虫-爬取豆瓣读书
爬点什么好呢?最近老是浏览豆瓣上的帖子,那就爬取下豆瓣读书吧! 网络请求,返回值是html页面. 需要对返回回来的结果进行解析.使用Beautiful Soup来解析参见(http://beauti ...
Python爬虫 - 爬取豆瓣读书TOP250电子书
1.爬取思路访问豆瓣读书top250,并提取书籍名称. 把提取的书籍名称,放到搜书网站(本文使用的是熊猫搜书). 把搜索的结果保存到本地.(底部有保存的文本文件,需要自提) 2.重点解析 1.豆瓣翻 ...
python爬虫爬取豆瓣电影排行榜并通过pandas保存到Excel文件当中
我们的需求是利用python爬虫爬取豆瓣电影排行榜数据,并将数据通过pandas保存到Excel文件当中(步骤详细) 我们用到的第三方库如下所示: import requests import pan ...
【爬虫】利用Python爬虫爬取小麦苗itpub博客的所有文章的连接地址并写入Excel中（2）...
[爬虫]利用Python爬虫爬取小麦苗itpub博客的所有文章的连接地址并写入Excel中(2) 第一篇( http://blog.itpub.net/26736162/viewspace-22865 ...
Python爬虫爬取豆瓣电影TOP250
Python爬虫爬取豆瓣电影TOP250 最近在b站上学习了一下python的爬虫,实践爬取豆瓣的电影top250,现在对这两天的学习进行一下总结主要分为三步: 爬取豆瓣top250的网页,并通过 ...
Python爬虫爬取豆瓣电影评论内容，评论时间和评论人
Python爬虫爬取豆瓣电影评论内容,评论时间和评论人我们可以看到影评比较长,需要展开才能完整显示.但是在网页源码中是没有显示完整影评的.所以我们考虑到这部分应该是异步加载的方式显示.所以打开网页的 ...

利用python爬虫爬取豆瓣读书-文学-名著的封面

利用python爬虫爬取豆瓣读书-文学-名著的封面相关推荐

最新文章

热门文章