爬虫之数据提取响应内容的分类

在发送请求获取响应之后，可能存在多种不同类型的响应内容；而且很多时候，我们只需要响应内容中的一部分数据

结构化的响应内容
- json字符串【高频出现】
  - 可以使用re、json等模块来提取特定数据
  - json字符串的例子如下图

xml字符串【低频出现】

可以使用re、lxml等模块来提取特定数据

xml字符串的例子如下

<bookstore>
<book category="COOKING"><title lang="en">Everyday Italian</title> <author>Giada De Laurentiis</author> <year>2005</year> <price>30.00</price>
</book>
<book category="CHILDREN"><title lang="en">Harry Potter</title> <author>J K. Rowling</author> <year>2005</year> <price>29.99</price>
</book>
<book category="WEB"><title lang="en">Learning XML</title> <author>Erik T. Ray</author> <year>2003</year> <price>39.95</price>
</book>
</bookstore>

非结构化的响应内容
- html字符串
  - 可以使用re、lxml等模块来提取特定数据
  - html字符串的例子如下图

爬虫之数据提取响应内容的分类相关推荐

python构造响应头_Python爬虫库requests获取响应内容、响应状态码、响应头
首先在程序中引入Requests模块 import requests 一.获取不同类型的响应内容在发送请求后,服务器会返回一个响应内容,而且requests通常会自动解码响应内容 1.文本响应内容 ...
【爬虫入门】获取响应内容(即读取网页html的源码)
在现实应用中,网络爬虫获取网页数据的流程如下: (1)模拟浏览器发送请求 (2)获取响应内容(获取网页):即获取html.css.json.图片.音频.视频等类型信息 (3)解析内容(提取信息):正则 ...
【python】——爬虫03 数据提取[jsonpath模块、lxml模块]
目录一.概述 1. 响应内容分类 2. xml和html 3. 数据解析二.jsonpath模块 1. 提取数据的方法 2. jsonpath语法规则 3. jsonpath练习:获取拉钩网城市j ...
Python爬虫的数据提取,一篇博客就搞定啦!
数据提取目录数据提取 XPath语法和lxml模块 XPath 什么是XPath XPath开发工具 XPath语法选取节点: 谓语: 通配符选取多个路径: 运算符: 总结使用方式需要注意 ...
爬虫常用数据提取方式:正则、xpath、beautifulsoup
文章目录 1.正则re 2.xpath 2.1 定位 2.1.1 xpath中选取节点的路径表达式 2.1.2 xpath谓语,即[ ]中的内容 2.1.3 选取未知节点 2.1.4 选择多个路径 2 ...
python爬虫获取标签规则_Python爬虫之数据提取-selenium定位获取标签对象并提取数据...
## selenium提取数据知识点:了解 driver对象的常用属性和方法掌握 driver对象定位标签元素获取标签对象的方法掌握标签对象提取文本和属性值的方法 1. driver对象的常 ...
python request返回的响应_Python爬虫库requests获取响应内容、响应状态码、响应头...
首先在程序中引入Requests模块 import requests 一.获取不同类型的响应内容在发送请求后,服务器会返回一个响应内容,而且requests通常会自动解码响应内容 1.文本响应内容 ...
爬虫之数据提取jsonpath模块的使用场景和使用方法
1. jsonpath模块的使用场景如果有一个多层嵌套的复杂字典,想要根据key和下标来批量提取value,这是比较困难的.jsonpath模块就能解决这个痛点. jsonpath可以按照key对p ...
edge新版能够正则式_Python爬虫七数据提取之正则
数据提取之正则,主要用到的re模块. 一.正则表达式用事先定义好的一些特定字符.及这些特定字符的组合,组成一个规则字符串,这个规则字符串用来表达对字符串的一种过滤逻辑. 二.正则表达式的常见语法正 ...

爬虫之数据提取响应内容的分类

爬虫之数据提取响应内容的分类

爬虫之数据提取响应内容的分类相关推荐

最新文章

热门文章