python爬虫初学入门实战

——无需登录无需vip获得各种大小的png图标，爬取easyicon里的图标并储存
首先附上爬取的网址地址

实验环境

操作系统：windows 10
版本：python 3.8，并且已经安装requests库
时间：2020-08-08

实验示例

https://www.easyicon.net/1259436-vpn_icon.html
以此网站上的图标为例子，进行爬取

实验过程

直接点击下载，会显示需要登录且要vip，我们通过检查网页可以发现，easyicon网站给出了api接口url。（第一个链接）可以下载相应大小的png图片。

实现代码

import requests
#请求的头
head={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'}
#生成的文件名
path="picture.png"def main():id=input("图片的id")size=input("图片的大小")#根据id和size生成urlurl='https://www.easyicon.net/api/resizeApi.php?id='+str(id)+'&size='+str(size)try:r = requests.get(url,timeout=10,headers=head)r.raise_for_status()with open(path,'wb') as f:f.write(r.content)f.close()print("sucess")except:print("fail")input("任意键")
main()

实验结果

只需要输入想要爬取的图标id和大小，就能在python所在的目录下下载png文件
比如输入：1259436 48

成功获得图片

成功获得png格式的图标

注意事项

后来查询该网站的robots.txt，内容如下：

User-agent: * Disallow: Disallow: /demo Disallow: /color Disallow: /api Disallow: /download Disallow: /skinnew/ Disallow: /SkinNew/ Disallow: /s/ Sitemap: https://www.easyicon.net/sitemap/soft/today.xml Sitemap: https://www.easyicon.net/sitemap/soft/list.xml

原则上api目录下的图片是不能爬取的，请大家谨记爬虫规则。

本人初学者，可能会存在不足之处请见谅qwq。
后续改进，请看=> 图标爬虫（2）
代码仅用于个人学习交流，侵权删

python爬虫初学实战——免登录爬取easyicon里的vip图标（1）相关推荐

python爬虫初学实战——免登录爬取easyicon里的vip图标（2）
python爬虫初学实战-免登录爬取easyicon里的vip图标(2) 实验日期:2020-08-09 tips:没看过前面(1)的可以康康,指路 -> 爬取easyicon里的png图标成 ...
Python爬虫应用实战-网站数据爬取及数据分析
实战一:中国大学排名前言由于上一篇文章中教会了大家如何存储数据,但是由于篇幅过大,就没有加入实战篇.想必大家也等着急了吧,所以今天就为大家带来两篇实战内容,希望可以帮助到各位更好的认识到爬虫与My ...
Python爬虫应用实战-如何对爬取的数据进行数据存储？
文件存储文件储存的形式多种多样,比如说保存成TXT纯文本形式,也可以保存为JSON格式.CSV格式等等. TXT文本存储将数据保存到TXT文件的操作是非常简单的,而且TXT文本几乎兼容任何平台,但 ...
Python爬虫笔记（3）- 爬取丁香园留言
Python爬虫笔记(3)- 爬取丁香园留言爬取丁香园留言:主要用到了模拟登录爬取丁香园留言:主要用到了模拟登录 import requests, json, re, random,time fr ...
[Python3网络爬虫开发实战] --分析Ajax爬取今日头条街拍美图
[Python3网络爬虫开发实战] --分析Ajax爬取今日头条街拍美图学习笔记--爬取今日头条街拍美图准备工作抓取分析实战演练学习笔记–爬取今日头条街拍美图尝试通过分析Ajax请求来抓取 ...
从入门到入土：Python爬虫学习|实例练手|爬取猫眼榜单|Xpath定位标签爬取|代码
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
从入门到入土：Python爬虫学习|实例练手|爬取百度翻译|Selenium出击|绕过反爬机制|
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
从入门到入土：Python爬虫学习|实例练手|爬取新浪新闻搜索指定内容|Xpath定位标签爬取|代码注释详解
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
从入门到入土：Python爬虫学习|实例练手|爬取百度产品列表|Xpath定位标签爬取|代码注释详解
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...

python爬虫初学实战——免登录爬取easyicon里的vip图标（1）