馆藏蝴蝶图片爬虫

由于本人很喜欢玩LOL大嘴的帝王斑蝶皮肤，导员下午又发了森林博物馆开馆的通知，于是想前往观赏帝王斑蝶，但是登录预约系统发现，下午并没有开馆，周四周五周六才开馆。所以就去官网看看蝴蝶的图片，由于官网并没有检索功能，所以就想把图片爬下来，再检索一下帝王斑蝶。

直接上代码

import requests
from lxml import etree
import urllib3if __name__ == "__main__":# 这里的urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)用来忽略警告urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)url_first = "https://cfm.nefu.edu.cn/zpjc/kczp.htm"url_main = 'https://cfm.nefu.edu.cn'headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36 Edg/91.0.864.37'}pic_url_list = []for i in range(1,31):url = ''if i==30 :url = url_firstelse :url = "https://cfm.nefu.edu.cn/zpjc/kczp"+'/'+str(i)+".htm"page_text = requests.get(url=url,headers=headers,verify=False).texttree = etree.HTML(page_text)li_list = tree.xpath('//div[@class="pic_list"]/ul/li')for li in li_list:pic_src = li.xpath('./a/@href')[0]pic_name = li.xpath('./a/@title')[0]s_pic_name = pic_name.encode('raw_unicode_escape')ss_pic_name = s_pic_name.decode()pic_url_list.append((ss_pic_name,(url_main+pic_src)))for pic in pic_url_list:pic_path = 'museum_pic_data/' + pic[0] + ".jpg"pic_data = requests.get(url=pic[1], headers=headers, verify=False).contentwith open(pic_path, 'wb') as fp:fp.write(pic_data)print(pic[0], '下载完成！')

爬虫-东北林业大学校内-中国[哈尔滨]森林博物馆-爬取所有馆藏蝴蝶图片相关推荐

python爬虫实战三：近十年中国电影票房数据爬取与分析
近十年中国电影票房数据爬取与分析前言爬取分析十年top10 年度top5 每年电影数每年总票房二八原则代码与数据前言这篇文章主要讲述的是近十年(2010-2019)中国电影票房数据的 ...
【爬虫实战】Python 自制天气预报程序！爬取全国天气网
学会了爬虫,让我们自制一个天气预报的爬虫吧! 需求分析 1.用 requests 爬取全国天气网的网页源代码: 2.用 pyquery 解析网页源代码,取得天气情况信息的节点: 3.用 xlwt ...
项目三：近10年来中国电影票房数据爬取分析
近10年来中国电影票房数据爬取分析前言数据采集与存储数据清洗和简单分析引入库,导入数据近10年top 年度top5 每年电影数每年总票房结论二八原则 end 点击跳转到总目录前言这 ...
CSDN爬虫（四）——博客专家(所有)爬取+数据分析
CSDN爬虫(四)--博客专家(所有)爬取+数据分析说明开发环境:jdk1.7+myeclipse10.7+win74bit+mysql5.5+webmagic0.5.2+jsoup1.7.2 爬 ...
python爬取京东商品图片_python利用urllib实现爬取京东网站商品图片的爬虫实例
本例程使用urlib实现的,基于python2.7版本,采用beautifulsoup进行网页分析,没有第三方库的应该安装上之后才能运行,我用的IDE是pycharm,闲话少说,直接上代码! # -* ...
python爬虫知乎图片_python爬虫（爬取知乎答案图片）
python爬虫(爬取知乎答案图片) 1.⾸先,你要在电脑⾥安装 python 的环境我会提供2.7和3.6两个版本的代码,但是本⽂只以python3.6版本为例. 安装完成后,打开你电脑的终端(T ...
python 北上资金_python爬虫技术：北向资金数据自动爬取！
好久不见!今天我们继续python的话题啦.python现在势头凶得很,没事刷抖音.刷朋友圈.看公众号,弹出的广告总少不了python."python带你发家致富,财富自由!"广告 ...
Java爬虫之利用Jsoup+HttpClient爬取类叔叔不约匿名聊天网站的图片,未果——后爬取某网站美女图片案例
博主最近学了一点爬虫的知识,闲着无聊,秉承学以致用的理念,于是突然想到何不挑战一下,爬取一些叔叔不约网站的图片,来巩固一下所学知识(#滑稽).说干就干,打开eclipse或idea,创建maven工程 ...
Python爬虫新手入门教学（十）：爬取彼岸4K超清壁纸
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space. ...

爬虫-东北林业大学校内-中国[哈尔滨]森林博物馆-爬取所有馆藏蝴蝶图片

爬虫-东北林业大学校内-中国[哈尔滨]森林博物馆-爬取所有馆藏蝴蝶图片

馆藏蝴蝶图片爬虫

直接上代码

爬虫-东北林业大学校内-中国[哈尔滨]森林博物馆-爬取所有馆藏蝴蝶图片相关推荐

最新文章

热门文章