背景说明

爬取煎蛋网中随手拍栏目中的某页的所有图片

实战

分析

先打开煎蛋网站中的“随手拍”，链接为：http://jandan.net/ooxx/MjAyMDA1MTctMTc1#comments
按F12打开开发者工具，然后在图片上点击“检查”，可看到图片的链接
找到这些图片的链接，然后保存即可

代码实现

download_images方法创建保存图片的文件夹，再调用find_images找到图片的地址，再用save_imgs方法来保存图片
url_open方法说明：很多地方都要从链接请求html文件，所以封装了
find_images方法说明：在html文件中查找图片链接地址

代码示例如下：

import urllib.request
import osdef url_open(url):req = urllib.request.Request(url)req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36')response = urllib.request.urlopen(req)html = response.read()return htmldef find_images(url):html = url_open(url).decode('utf-8')img_addrs = []a = html.find('img src=')print('a:'+str(a))while a != -1:b = html.find('.jpg',a,a+255)print('b:'+str(b))if b != -1:img_addrs.append(html[a+9:b+4])else:b = a + 9a = html.find('img src=',b)for each in img_addrs:print(each)return img_addrsdef save_imgs(folder,img_addrs):for each in img_addrs:print('save_imgs_each:'+each)filename = each.split('/')[-1]with open(filename,'wb') as f:img = url_open('http:'+each)f.write(img)def download_images(url):print(url)folder='images'os.mkdir(folder)os.chdir(folder)page_num = int(get_page(url))img_addrs = find_images(url)save_imgs(folder,img_addrs)if __name__ == '__main__':url = 'http://jandan.net/ooxx/MjAyMDA1MTctMTc1#comments'download_images(url)

github上的代码

python学习笔记之模块爬虫实战-爬取网站图片(十四)相关推荐

C++编写爬虫脚本爬取网站图片
C++编写爬虫脚本爬取网站图片整体代码设计思路具体功能实现初始化网络库 url中爬取图片获取网页源代码连接主机 url中获取主机名和文件名 html中提取连接 html中提取图片链接获取并 ...
Python爬虫(1)------爬取网站图片
初学爬虫的学习流程环境 python 3.6 使用 urlib库进行爬取内容熟悉爬虫首先对百度进行爬取 # -*- coding: utf-8 -*- import urllib.request ...
爬虫实战-爬取wallhaven图片（小白入门）
(最近学业课程较为紧张,码代码的时间比较紧,利用零散时间终于做完了此次爬取) 作为爬虫小白,代码偏向简单,大佬勿喷~ 本次爬取网站:https://wallhaven.cc/toplist 本次所用工 ...
python爬虫爬取图片代码_python爬虫实战爬取天极图片
学习爬虫个人的意见是直接实战效果会很好不要等全学完requests ,正则表达式,BeautifulSoup等再来实际操作.其实很多实战我们并不会用到requests库,BeautifulSoup, ...
python爬虫实战---爬取大众点评评论
python爬虫实战-爬取大众点评评论(加密字体) 1.首先打开一个店铺找到评论很多人学习python,不知道从何学起. 很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手. 很多 ...
python爬虫实战-爬取微信公众号所有历史文章 - (00) 概述
http://efonfighting.imwork.net 欢迎关注微信公众号"一番码客"获取免费下载服务与源码,并及时接收最新文章推送. 最近几年随着人工智能和大数据的兴起,p ...
Python学习笔记:第三方模块2
前言最近在学习深度学习,已经跑出了几个模型,但Pyhton的基础不够扎实,因此,开始补习Python了,大家都推荐廖雪峰的课程,因此,开始了学习,但光学有没有用,还要和大家讨论一下,因此,写下这些帖 ...
Python爬虫实战爬取租房网站2w+数据-链家上海区域信息（超详细）
Python爬虫实战爬取租房网站-链家上海区域信息(过程超详细) 内容可能有点啰嗦大佬们请见谅后面会贴代码带火们有需求的话就用吧正好这几天做的实验报告就直接拿过来了,我想后面应该会有人用的到吧 ...
python爬虫实战-爬取视频网站下载视频至本地(selenium)
#python爬虫实战-爬取视频网站下载视频至本地(selenium) import requests from lxml import etree import json from selenium ...

python学习笔记之模块爬虫实战-爬取网站图片(十四)

背景说明

实战

分析

代码实现

python学习笔记之模块爬虫实战-爬取网站图片(十四)相关推荐

最新文章

热门文章