xpath contains_Python 爬虫进阶: Scrapy Shell 和 Xpath 学习心得

说来好笑，刚学习爬虫的时候为了调试代码，是将网页下载到本地，再用beautifulsoup载入本地网页文件进行分析，以保证选择器编写正确。

Scrapy内置的调试器Scrapy Shell正好作此用途，使用的选择器则是xpath。

下面是两篇scrapy shell 和 xpath selector的教程。

Scrapy Tutorial #6: Scrapy Shell Overview & Tipswww.accordbox.com

Selectors - Scrapy 1.4.0 documentationdocs.scrapy.org

要打开scrapy shell，在终端输入

scrapy shell http://url

scrapy shell将下载网页到本地（不会自动删除）。

在浏览器中打开下载的网页查看，继续在终端输入

view(response)

如果要重新载入网页，或者载入另一个网页，则使用命令代码

fetch（"http://url")

确定网页已经正确下载到本地之后，开始测试xpath selector（选择器）。要选取网页上的任何标签内容，比如<title>，使用以下代码

response.selector.xpath("//title/text()").extract()

注意xpath选择器的编写规则。简单举例：

/ 查询绝对路径

// 查询所有标签，如果要选择所有标题标签中的第二个，写为 //title[2]

/text() 标签底下的文字不是节点，在标签后面添加以提取文本内容

//a[contains(@href,"img")]/@href 提取class，id，link等属性

在scrapy shell中调试好的代码可以直接复制到爬虫文件中使用。

从终端退出scrapy shell，windows输入ctrl +Ｄ

^D

xpath contains_Python 爬虫进阶: Scrapy Shell 和 Xpath 学习心得相关推荐

Python爬虫进阶——Scrapy框架原理及分布式爬虫构建
1 Scrapy简介 1.1 概念 Scrapy是由Python语言开发的一个快速.高层次的屏幕抓取和web信息抓取框架,用于抓取web站点并从页面中提取结构化的数据. Scrapy用途广泛,可以用于 ...
scrapy splash 爬取图片学习心得
目录 1. 鸣谢 2. 环境搭建(基于python 3.7) 2.1 准备镜像 2.2 启动splash容器 2.3 安装 scrapy-splash 2.4 安装 Pillow(图片处理 ) 3.生 ...
Scrapy爬虫进阶操作之CrawlSpider（二）
开头再来波小程序摇一摇: 上一章节,我们讲到了通过Rules来获取下一个待爬页面的URL,那么我们今天就来讲讲具体的怎么爬取一个页面. 因为我们的目的是爬取整个36页的全部美剧列表,但是在36页数据里 ...
Python爬虫框架Scrapy学习笔记
scrapy.png 本文主要内容针对Scrapy有初步了解的同学.结合作者的实际项目中遇到的一些问题,汇成本文. 之后会写一些具体的爬虫demo, 放到 https://github.com/han ...
开源 Python网络爬虫框架 Scrapy
开源 Python 网络爬虫框架 Scrapy:http://blog.csdn.net/zbyufei/article/details/7554322 介绍所谓网络爬虫,就是一个在网上到处或定向抓 ...
解析python网络爬虫pdf 黑马程序员_正版解析Python网络爬虫核心技术 Scrapy框架分布式爬虫黑马程序员 Python应用编程丛书中国铁道出版社...
商品参数书名:Python应用编程丛书:解析Python网络爬虫:核心技术.Scrapy框架.分布式爬虫定价:52.00元作者:[中国]黑马程序员出版社:中国铁道出版社出版日期:2018-0 ...
python中的scrapy爬虫_Python 爬虫之Scrapy《中》
欢迎关注[无量测试之道]公众号,回复[领取资源], Python编程学习资源干货. Python+Appium框架APP的UI自动化. Python+Selenium框架Web的UI自动化. Pyth ...
小白学 Python 爬虫（20）：Xpath 进阶
人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇小白学 Python 爬虫(2):前置准备(一)基本类库的安装小白学 Python 爬虫(3):前置准备(二)Li ...
爬虫学习笔记（七）——Scrapy框架（二）：Scrapy shell、选择器
一.Scrapy shell scrapy shell的作用是用于调试,在项目目录下输入scrapy shell start_urls (start_urls:目标url)得到下列信息: scrapy ...

xpath contains_Python 爬虫进阶: Scrapy Shell 和 Xpath 学习心得

xpath contains_Python 爬虫进阶: Scrapy Shell 和 Xpath 学习心得相关推荐

最新文章

热门文章