python用find爬虫提取img下的src属性_基于 Python 的 Scrapy 爬虫入门：页面提取

下面创建一个爬虫项目，以图虫网为例抓取图片。

一、内容分析

打开图虫网，顶部菜单“发现” “标签”里面是对各种图片的分类，点击一个标签，比如“美女”，网页的链接为：https://tuchong.com/tags/美女/，我们以此作为爬虫入口，分析一下该页面：

打开页面后出现一个个的图集，点击图集可全屏浏览图片，向下滚动页面会出现更多的图集，没有页码翻页的设置。Chrome右键“检查元素”打开开发者工具，检查页面源码，内容部分如下：

可以判断每一个li.gallery-item是一个图集的入口，存放在ul.pagelist-wrapper下，div.widget-gallery是一个容器，如果使用 xpath 选取应该是：//div[@class=">

但是如果用类似 Postman 的HTTP调试工具请求该页面，得到的内容是：

也就是并没有实际的图集内容，因此可以断定页面使用了Ajax请求，只有在浏览器载入页面时才会请求图集内容并加入div.widget-gallery中，通过开发者工具查看XHR请求地址为：

https://tuchong.com/rest/tags/美女/posts?page=1&count=20&order=weekly&before_timestamp=

参数很简单&#

python用find爬虫提取img下的src属性_基于 Python 的 Scrapy 爬虫入门：页面提取相关推荐

python实战项目书题库系统_Python实战视频教程_基于Python项目与面试题实例讲解（进阶训练篇）...
课程介绍: 精选50个Python项目实战与面试容易遇到的问题作为训练任务,每个任务都先提出问题,分析问题.然后给出巧妙与高效的解决办法,最后手把手代码实战完成任务,带你全面提升python项目实战核 ...
python取余还是相乘_python取余还是相乘_基于python 取余问题(%)详解
取余的公式: 余数=除数-被除数*商 python的的余数是按照整除(向下取整)得到的商来计算的. 取余问题主要分为 : 正数与正数,负数与负数,正数与负数 ,0 正数与正数 #大数/小数:因为得出的 ...
python复制文件到另一个文件夹并重命名_基于python实现复制文件并重命名
方法: shutil.copy("c://ccc//模板.xlsx","c://ccc//新文件.xlsx") 需求: 已知的Excel模板格式.已知的文件命名 ...
python编写程序、自动生成宿舍的组合名_基于python的寝室管理系统
[Python] 纯文本查看复制代码#!/usr/bin/python# -*- coding: UTF-8 -*- studentinformations=[] def recover(): gl ...
基于python的汽车销售_基于Python的汽车信息爬取与分析
二.<基于Python的汽车数据爬取与分析> 1 课题内容和要求 1.1问题的提出 1)用Python 语言自行编写爬虫框架或使用Scrapy 框架,爬取汽车之家或易车网的车辆相关数据,按 ...
python 量化交易_基于Python的量化交易工具清单(上）
-- Python量化工具清单 -- 以下内容来源于Wilson Freitas的Github项目"Awesome Quant".原文中包含了丰富的语言类别,但是后续介绍主要针对P ...
python音频实时频谱分析_基于python的音频设计及频谱分析
74 Internet Technology 互联网 + 技术一.引言 WAV 是 Microsoft 开发的一种声音文件格式,虽然它支持多种压缩格式,但是它通常被用来保存未压缩的声音数据(PCM ...
python气象绘图速成_基于Python气象数据处理与可视化分析
基于 Python 气象数据处理与可视化分析张鑫 ; 曹蕾 ; 韩基良 [期刊名称] <气象灾害防御> [年 ( 卷 ), 期] 2020(027)001 [摘要] 全国综合气象信息共享 ...
python名片识别_基于Python的名片识别接口调用代码实例
基于Python的名片识别接口调用代码实例代码描述:基于Python的名片识别接口调用代码实例 #!/usr/bin/python # -*- coding: utf-8 -*- import js ...

python用find爬虫提取img下的src属性_基于 Python 的 Scrapy 爬虫入门：页面提取

python用find爬虫提取img下的src属性_基于 Python 的 Scrapy 爬虫入门：页面提取相关推荐

最新文章

热门文章