爬虫网页解析之css用法及实战爬取中国校花网
前言
我们都知道,爬虫获取页面的响应之后,最关键的就是如何从繁杂的网页中把我们需要的数据提取出来,
python从网页中提取数据的包很多,常用的解析模块有下面的几个:
BeautifulSoup API简单 但解析速度慢,不推荐使用
lxml 由C语言编写的xml解析库(libxm2),解析速度快 但是API复杂
Scrapy 综合以上两者优势实现了自己的数据提取机制,被称为Selector选择器。
它是由lxml库构建的,并简化了API ,先通过XPath或者CSS选择器选中要提取的数据,然后进行提取
Scrapy选择器构建于 lxml 库之上,这意味着它们在速度和解析准确性上非常相似。
Selector选择器的用法
下面我们以 Scrapy Shell 和 Scrapy 文档服务器的一个样例页面(url=http://doc.scrapy.org/en/latest/_static/selectors-sample1.html) 来了解选择器的基本用法:
构造选择器
Scrapy selector 可以以 文字(Text),二进制(content)或 TextResponse 构造的 Selector。其根据输入类型自动选择最优的分析方法 以文字构造:
url = "http://doc.scrapy.org/en/latest/_static/selectors-sample1.html"
response = requests.get(url=url)
selector = Selector(text=response.text)
复制代码
以 response 构造:
selector = Selector(response=response)
复制代码
以二进制构造:
selector = Selector(text=response.content)
复制代码
使用选择器
这里强烈推荐使用 scrapy shell 来进行调试!
为什么要使用 scrapy shell ?
当我们需要爬取某个网站,然后提取数据的时候,要用到 xpath css 或者正则提取方法等
但是有时候这些xpath 或者css 语句不一定一次就能写对,有时候需要我们不断地去调试。
可能有些人会说,我每写一次然后重新去请求,输出结果测试一下就知道了。只能说这种做法就比较愚蠢了,如果遇到那种容易封IP的网站,你这样频繁的去请求测试,测不了几次,你的ip就被封了
这时候,我们要使用 scrapy shell 去调试,测试成功后,在拷贝到我们的项目中就可以了
如何使用 scrapy shell?
首先打开 Shell, 然后输入命令 scrapy shell url
scrapy shell http://doc.scrapy.org/en/latest/_static/selectors-sample1.html
复制代码
当然在 pycharm中, 也可以使用
当 shell 载入后,将获得名为 response 的 shell 变量,url 响应的内容保存在 response 的变量中,可以直接使用以下方法来获取属性值
response.body
response.headers
response.headers['Server']
复制代码
由于在 response 中使用 XPath、CSS 查询十分普遍,因此,Scrapy 提供了两个实用的快捷方式:
response.css()
response.xpath()
复制代码
比如,我们获取该网页下的 title 标签,方法如下:
>>> response.css("title")
[<Selector xpath='descendant-or-self::title' data='<title>Example website</title>'>]
>>> response.xpath("//title")
[<Selector xpath='//title' data='<title>Example website</title>'>]
复制代码
.xpath() 以及 .css() 方法返回一个类 SelectList 的实例,它是一个新选择器的列表。这个 API 可以用来快速的提取嵌套数据。
为了提取真实的原文数据,需要调用 .extract() 等方法
提取数据
extract():返回选中内容的Unicode字符串。
extract_first():SelectorList专有,返回其中第一个Selector对象调用extract方法。通常SelectorList中只含有一个Selector对象的时候选择调用该方法。
re() 使用正则表达式来提取选中内容中的某部分。
举个例子
>>> selector.xpath('.//b/text()') .extract()
[‘价格:99.00元’,‘价格:88.00元’,‘价格:88.00元’]
>>> selector.xpath('.//b/text()').re('\d+\.\d+')
[ '99.00','88.00','88.00']
复制代码
re_first() 返回SelectorList对象中的第一个Selector对象调用re方法。
>>> selector.xpath('.//b/text()').re_first('\d+\.\d+') '99.00'
复制代码
css语法简单介绍
" * " 选择所有节点 " # container " 选择id为container的节点 " .container " 选择class包含container的节点 "li a " 选择 所有 li 下的所有 a 节点 "ul + p" 选择所有ul后面的第一个p元素 "#container > ul" 选择id为container的第一个ul节点 "a[class] " 选取所有有class属性的a元素 "a[href="b.com"]" 含有href="b.com"的a元素 "a[href*='job'] " 包含job的a元素 "a[href^='https'] " 开头是https的a元素 "a[href$='cn']" 结尾是cn的a元素
我们以上面的样例网页为例 下面是样例的html的源码
<html><head><base href='http://example.com/' /><title>Example website</title><link rel="stylesheet" href="/10994125-6b4dfbe961384f54928ea988268cedc6.css?1554613507" type="text/css"/>
<script language="javascript" type="text/javascript" src="/10994125-ea42c7db7c884a6691551d5756c02302.js?1554613507" charset="utf-8"></script>
</head><body><div id='images'><a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a><a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a><a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a><a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a><a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a></div></body>
</html>
复制代码
css用法实例
>>> response.css("title ::text").extract_first('') # 获取文本
'Example website'
>>> response.css("#images ::attr(href)").extract() # 获取 id= images 下的所有href属性
['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']
>>> response.css('a[href*=image]::attr(href)').extract() # 获取所有包含 image 的 href 属性
['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html']
>>> response.css("#images a")[0].css("::attr(href)").extract() # css选取第一个a标签里面的href属性
['image1.html']
>>> response.xpath(".//div[@id='images']/a[1]").xpath("@href").extract() # xpath选取第一个a标签里面的href属性
['image1.html']复制代码
css用法实战
目标地址:中国大学校花网 www.xiaohuar.com/hua/
爬虫整体思路: 1、先将总页数拿下来 2、根据总页数循环去拿图片地址 3、再请求图片链接,将图片保存到本地
F12打开浏览器开发者工具,找到尾页再网页源码中的位置
可以看到尾页链接在 a 标签列表里面的末尾,在 css 中我们可以使用切片的方法来获取最后一个值 语法如下:
total_pages = selector.css(".page_num a")[-1:].css("::attr(href)").re(r".*?(\d+).html")[0] # css
total_pages = selector.xpath(".//div[@class='page_num']/a")[-1:].xpath("@href").re(r".*?(\d+).html")[0] # xpath
复制代码
同样的方法(不细说了),我们获取图片的地址和名称 语法如下:
img_list = selector.css(".item_list.infinite_scroll .item_t .img")
for img in img_list:title = img.css("a img ::attr(alt)").extract_first("")src = img.css("a img ::attr(src)").extract_first("")
复制代码
因为只是用来测试,所以我只爬了前几页,如果想爬全部,将循环的页数改成 total_pages 即可 最终效果如下:
不到2分钟,就全部爬完了,因为是爬虫入门的教程,所以就没用异步的爬虫框架,下面是源码
# coding: utf-8
import requests
import time
from scrapy import Selector
import osclass XiaoHuaSpider(object):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}def spider(self):"""爬虫入口:return:"""url = "http://www.xiaohuar.com/hua/"response = requests.get(url, headers=self.headers)selector = Selector(text=response.text)total_pages = selector.css(".page_num a")[-1:].css("::attr(href)").re(r".*?(\d+).html")[0] # 总页数self.parse_html(selector) # 第一页爬取for page in range(1, 5): # 第二页至第五页url = f"http://www.xiaohuar.com/list-1-{page}.html"response = requests.get(url, headers=self.headers)selector = Selector(text=response.text) # 创建选择器self.parse_html(selector) # 解析网页def parse_html(self, selector):img_list = selector.css(".item_list.infinite_scroll .item_t .img")for img in img_list:title = img.css("a img ::attr(alt)").extract_first("")src = img.css("a img ::attr(src)").extract_first("")if "file" in src: # 第一个图片和其他图片地址不一样src = "http://www.xiaohuar.com" + srcimg_res = requests.get(src, headers=self.headers)data = img_res.contentself.save_img(title, data) @staticmethoddef save_img(title, data):"""保存图片到本地:param title: :param data: :return: """os.chdir("F:\\测试\\校花") # 需要先在本地创建此目录if os.path.exists(title + ".jpg"):print(f"{title}已存在")else:print(f"正在保存{title}")with open(title + ".jpg", "wb")as f:f.write(data)if __name__ == '__main__':spider = XiaoHuaSpider()t1 = time.time()spider.spider()t2 = time.time()print(t2 - t1)
复制代码
推荐阅读
Python爬虫之JS逆向入门篇
转载于:https://juejin.im/post/5cf9147651882541b24c3d6f
爬虫网页解析之css用法及实战爬取中国校花网相关推荐
- python实现爬虫探探_全栈 - 9 实战 爬取豆瓣电影数据
这是全栈数据工程师养成攻略系列教程的第九期:9 实战 爬取豆瓣电影数据. 掌握了爬虫的基本原理和代码实现,现在让我们通过实战项目巩固一下. 确定目标 在写爬虫之前应当想清楚:我需要哪方面的数据?需要包 ...
- python爬虫遇到验证码的处理方法(以爬取中国执行信息公开网为例)
朋友们大家好,python爬虫是在学习python时比较容易上手的学习方式,爬虫的思路简要以下几点: 1.获取需要爬取页面的网址,并且对网页内容进行分析.(主要就源代码讨论,如果我们需要的内容没有在源 ...
- python爬虫学习笔记(三)——淘宝商品比价实战(爬取成功)
2020年最新淘宝商品比价定向爬取 功能描述 目标:获取淘宝搜索页面的信息,提取其中的商品名称和价格. 理解:淘宝的搜索接口 翻页的处理 技术路线:requests re 程序的结 ...
- bs4爬取的时候有两个标签相同_python爬虫初体验,爬取中国最好大学网大学名次...
程序员天天只顾写生活琐事的文章可就太对不起其他的程序员们了,某大佬给我在线寄了一张刀片的图片,催更技术分享,不得不动手了.从今年刚开始学习python,美妙的语法令人陶醉,好用的第三方库令人爱不释手. ...
- python中国大学排名爬虫写明详细步骤-Python爬虫——定向爬取“中国大学排名网”...
内容整理自中国大学MOOC--北京理工大学-蒿天-Python网络爬虫与信息提取 相关实战章节 我们预爬取的url如下 网页节选 在浏览器中读取网页源代码 可以 发现表格数据信息是直接写入HTML页面 ...
- 硬核来袭!!!一篇文章教你入门Python爬虫网页解析神器——BeautifulSoup详细讲解
文章目录 一.BeautifulSoup介绍 二.安装 三.bs4数据解析的原理 四.bs4 常用的方法和属性 1.BeautifulSoup构建 1.1 通过字符串构建 1.2 从文件加载 2.Be ...
- python爬虫实战-爬取小说
今天做一个爬虫练手的小实战:爬取顶点小说网的小说,实现下载到本地(虽然网站上本来就可以下载,不过还是自己写代码来有成就感嘛!) 爬取网站 进入官网后,点击元尊,就爬取这本书了. 我们先把整个网页爬下来 ...
- python爬虫实战---爬取大众点评评论
python爬虫实战-爬取大众点评评论(加密字体) 1.首先打开一个店铺找到评论 很多人学习python,不知道从何学起. 很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手. 很多 ...
- Scrapy 爬虫实战-爬取字幕库
Scrapy 爬虫实战-爬取字幕库 1.首先,创建Scrapy框架 创建工程 scrapy startproject zimuku创建爬虫程序 cd zimuku scrapy genspider z ...
最新文章
- 技术人如何做职场沟通?
- Java 数据类型:对人的描述
- 通过反射将变量值转为变量名本身
- org.apache.poi 读取数字问题
- Edge X Kubernetes Meetup,探索云原生新边界
- js一个大盒子中有三个小盒子_寒假预习:一万有多大,数一数估一估,亲身感觉一万有多大...
- PHP 二分查找(详细)
- 【暖*墟】#树链剖分# 树链剖分学习与练习
- oracle 10g for solaris准备工作和实例的删除
- java培训一般有哪些课程_java培训有哪些课程
- linux搭建雷霆传奇h5源码,【雷霆传奇H5服务端】2020.07最新超好看大羽翼传奇网页游戏程序[附超详尽构建实例教程]...
- python终端命令行输入一条语句后出现三个点是什么?
- 续费Namecheap域名教程附如何便宜续费域名方法
- 【Windows Server 2019】企业虚拟专用网络服务的配置和管理(上)
- BZOJ3039 玉蟾宫(单调栈)
- 号外:八百呼的录音话机现场“教学”管理企业
- 洛谷P1979 华容道(dfs)
- ROS通信机制进阶学习
- 常用小波基函数以及多尺度多分辨率的理解
- 无法创建文件夹或文件问题的解决的方法