python bing 风景图爬取

说明：个人因项目需要风景图数据集而写，仅供参考。

配置：ubuntu20、firefox、pycharm、requests、BeautifulSoup

步骤：

1、bing搜索“风景图”，按F12，点击“网络”，点击“XHR”，按F5刷新，滑轮往下拉，进入如图所示状态。

2、与其他的新弹出的get请求对比可知将前面一致的网址复制，后面的舍去，first每次加35即可。

3、查看单张图片HTML代码，可知src为图片url。

代码：

total:请自己按需选取

headers:请自己填写

url：不一定是风景图，bing其他的应该也可以。

response.encoding:按F12搜charset,按网页编码填写

import requests
from requests.exceptions import ReadTimeout, HTTPError, RequestException
from bs4 import BeautifulSoup
import re
import os
import timedef main():total = 350  # 因为bing每组缩略图是35张，所以total最好是35的倍数floop = total // 35  # 缩略图总组数img_loc = "./img"  # 储存图片的文件夹if total % 35 != 0:  # 如果total不是35的倍数，如10,则floop需要加1才能下载图片floop += 1if not os.path.exists("./img"):print("不存在图片存储文件夹，进行新建。")os.mkdir(img_loc)# 请求头请自己填写headers = {"User-Agent": ""}for i in range(0, floop):# 第几组缩略图网址url = "https://cn.bing.com/images/async?q=%E9%A3%8E%E6%99%AF%E5%9B%BE&first={}&count=35&cw=1320&ch=383&relp=35&apc=0&tsc=ImageHoverTitle&datsrc=I&layout=RowBased_Landscape&mmasync=1".format(i * 35)response = requests.get(url=url, headers=headers, timeout=5)# 请自己查看网页编码为多少，不为utf-8则进行修改。response.encoding = "utf-8"soup = BeautifulSoup(response.text, features="lxml")if response.status_code == 200:for idx, j in enumerate(soup.find_all(class_=re.compile("mimg.*"))):img_url = j["src"]img_name = idx + i * 35 + 1  # 以第几张图片为名if img_name == total + 1:  # 当total不是35的倍数时，下载到上一张图片为止breaktry:img_response = requests.get(url=img_url, headers=headers, timeout=3)img = img_response.content# 不知道为什么我直接以img_name建立文件，会有plain后缀的图片，所以才进行的重命名。。。with open(img_loc + "/%s" % img_url.split("/")[-1], "wb") as f:f.write(img)# 我用的ubuntu写的，不用加.png等后缀，windows可能要加上.png等后缀。os.rename(img_loc + "/%s" % img_url.split("/")[-1], img_loc + "/%d" % img_name)print("第%d张图片下载成功" % img_name)except ReadTimeout:  # 超时异常print("timeout")except HTTPError:  # HTTP异常print("http error")except RequestException:  # 请求异常print("request error")finally:time.sleep(1)  # 防止访问频率太高封ipelse:print("第%d组缩略图状态码：" % i, response.status_code)print("下载完成！")if __name__ == "__main__":main()

ps:若哪里有错误或改进地方，请不吝赐教。

python bing 风景图爬取相关推荐

Python+Fiddler5带你爬取6000+高清王者荣耀cosplay图
Python+Fiddler5带你爬取6000+高清王者荣耀cosplay图写在前面最近在玩蛇的时候发现一个抓包神器Fiddler,简直不要太好用,于是当作练手就把这软件给安排了,王者荣耀盒子一个 ...
python——图片爬虫：爬取爱女神网站(www.znzhi.net)上的妹子图进阶篇
在上一篇博客中:python--图片爬虫:爬取爱女神网站(www.znzhi.net)上的妹子图基础篇我讲解了图片爬虫的基本步骤,并实现了爬虫代码在本篇中,我将带领大家对基础篇中的代码进行改善, ...
python多线程爬取多个网址_【Python爬虫】多线程爬取斗图网站（皮皮虾，我们上车）...
原标题:[Python爬虫]多线程爬取斗图网站(皮皮虾,我们上车) 斗图我不怕没有斗图库的程序猿是无助,每次在群里斗图都以惨败而告终,为了能让自己在斗图界立于不败之地,特意去网上爬取了斗图包.在这里 ...
python爬虫课设-爬取3000条数据并做数据可视化
很久以前接的单子,分享一下(挺水的,将就着看吧) 文章目录作业要求数据爬取爬取结果数据处理数据可视化大作业文档作业要求 <Python与数据分析>期末大作业要求(2020-2 ...
基于python的数据爬取与分析_基于Python的网站数据爬取与分析的技术实现策略
欧阳元东摘要:Python为网页数据爬取和数据分析提供了很多工具包.基于Python的BeautifulSoup可以快速高效地爬取网站数据,Pandas工具能方便灵活地清洗分析数据,调用Python ...
利用python的scrapy框架爬取google搜索结果页面内容
scrapy google search 实验目的爬虫实习的项目1,利用python的scrapy框架爬取google搜索结果页面内容. https://github.com/1012598167/ ...
携程ajax,Python爬虫实战之爬取携程评论
一.分析数据源这里的数据源是指html网页?还是Aajx异步.对于爬虫初学者来说,可能不知道怎么判断,这里辰哥也手把手过一遍. 提示:以下操作均不需要登录(当然登录也可以) 咱们先在浏览器里面搜索携 ...
2021春项目需求记录 python实现模拟登录+爬取NASA Modis 上的产品数据
python实现模拟登录+爬取Nasa Modis 上的产品数据概述需求分析基本思路代码概述 3月的中旬时候参与了学校的一个大创项目,作为本科生,本人只是摸鱼打杂,负责了其中的一个功能模块: ...
［网络爬虫｜smtp协议｜python］东方财富网爬虫，python smtp协议发送爬取数据至QQ邮箱
本文改自［网络爬虫|smtp协议|python］东方财富网爬虫,python smtp协议发送爬取数据至QQ邮箱之前写的爬虫单子,代码已经跑了快3个月了,后续又增加了一些需求,修改了一些小bug ...

python bing 风景图爬取

说明：个人因项目需要风景图数据集而写，仅供参考。

python bing 风景图爬取相关推荐

最新文章

热门文章