python爬虫流程-Python：爬虫处理流程及网页解析

爬虫处理流程：

将互联网上的网页获取到本地

对网页进行解析

网页解析是从网页中分离出我们所需要的、有价值的信息，以及新的待爬取的URL。

网页的解析的方法：

正则表达式（采用模糊匹配的方式，找出我们所需要内容）

BeautifulSoup（是一个可以从HTML或XML文件中提取数据的第三方Python库）, BeautifulSoup可以采用Python自带的

html.parse

作为它的解析器，也可以采用

lxml

作为解析器。

lxml 是Python语言解析处得XML和HTML的库

XPath（XPath 是一门在 XML 文档中查找信息的语言，XPath 可用来在 XML 文档中对元素和属性进行遍历。）

对解析出来的数据进行处理。

一、使用BeautifulSoup

安装：

pip install beautifulsoup4

安装lxml:

pip install lxml

解析器

使用方法

优点

缺点

Python标准库

BeautifulSoup(markup, “html.parser”)

Python的内置标准库，执行速度适中，文档容错能力强

Python 2.7.3 or 3.2.2)前的版本中文档容错能力差

lxml HTML 解析器

BeautifulSoup(markup, “lxml”)

速度快，文档容错能力强

需要安装C语言库

首先必须要导入 bs4 库，创建BeautifulSoup对象

from bs4 import BeautifulSoupsoup = BeautifulSoup(html,'lxml') #html为下载的网页，lxml为解析器

详细使用可以看Beautiful Soup 4.2.0 文档

掌握以下三个方法基本够用：

find_all("tag") 搜索当前所有的tag标签的集合。

find("tag") 返回的是一个tag标签。（这个方法用得少）

select("") 可以按标签名查找，用得多的是按标签逐层查找筛选元素。

二、使用BeautifulSoup提取网页内容的一些技巧

1、find_all()方法中放单独的标签名，如

，会提取网页中所有的

标签，这里要确保是我们所需要的链接

，一般都不是，需要加上条件（就是标签的属性，加以限制筛选），如果这一级标签没有属性，最好往上一级找。

以糗事百科为例来说明，

http://www.qiushibaike.com/text/

，抓取原创笑话段子。

发现内容都在

span

标签中，如果写

find_all("span")

可以抓取到段子的内容，但是还包含了网页上其他

span

的内容。这时我们往上一级标签上看，

就是只包含了段子内容的标签。

取出来的link的内容就是

div

，我们取它的

span

中的内容就是我们需要段子的内容。

2、select() 方法，可以按标签逐层查找到我们所需要的内容，这点特点方便，就是定位，避免了单一的标签无法定位到我们所需要的内容元素。

注意，以上按路径标签之间的空格 td div a，可以用>，但也要注意>与标签之间都有空格。推荐使用 > 的方式。

我们使用Chrome浏览器，右键copy - selector （鼠标要放在标签上）

注意得到的内容，是从

开始的，这是上面

div

的

（

表示的是

），如果按此去搜索标签内容，只能得到一条内容。

#qiushi_tag_118962045 > a > div > span

需要改一下，按照个标签顺序去匹配搜索内容。这里第一个

div

就是有id数字的那个

div

div > a > div > span

按这个路径去搜索时，发现还匹配到评论的内容，这就是定位的问题，需要改得更准确一些。

a.contentHerf > div > span

改为从

标签开始，并且加上它的

class

属性。

a.contentHerf

是

在select()方法中的写法。

两种方式抓取到糗百的段子。注意这里只抓取了一页的内容

学习过程中遇到什么问题或者想获取学习资源的话，欢迎加入学习交流群

626062078，我们一起学Python！

python爬虫流程-Python：爬虫处理流程及网页解析相关推荐

python网络爬虫笔记02：基于正则表达式的网页解析案例
目录 1 正则表达式 1.1 基础语法 1.2 量词 1.3 贪婪匹配和惰性匹配 1.4 测试小例子
python实验七网络爬虫和文本处理
目录实验原理: 实验准备: 实验步骤与内容: 参考代码: 运行结果: 学习网络爬虫常用工具包 requests,以及对网页解析工具 BeautifulSoup 等操作: 依托自然语言处理领域的文本数 ...
python爬虫流程-Python爬虫程序架构和运行流程原理解析
1 前言 Python开发网络爬虫获取网页数据的基本流程为: 发起请求通过URL向服务器发起request请求,请求可以包含额外的header信息. 获取响应内容服务器正常响应,将会收到一个res ...
python爬虫流程-Python爬虫流程
Python爬虫流程主要分为三个部分 (1)获取网页-------->(2)解析网页(获取数据)--------->存储数据三个流程的技术实现 1.获取网页 -获取网页的技术基础:ur ...
学python爬虫需要什么基础-从零开始教你学爬虫！python爬虫的基本流程！
世界那么大,谢谢你来看我!!! 网络爬虫是什么? 网络爬虫就是:请求网站并提取数据的自动化程序网络爬虫能做什么? 网络爬虫被广泛用于互联网搜索引擎或其他类似网站,可以自动采集所有其能够访问到的页面内 ...
python爬虫教程：爬虫的基本流程
爬虫的基本流程 1.发起请求: 通过HTTP库向目标站点发起请求,即发送一个Request,请求可以包含额外的headers等信息,然后等待服务器响应.这个请求的过程就像我们打开浏览器,在浏览器地址栏 ...
python爬虫常用流程_爬虫采集基本流程，python爬虫框架排行榜
爬虫其实是通过伪装数据,借用代理IP工具,并模仿用户行为实现采集信息,这爬虫采集基本流程是怎样的呢?爬虫的框架影响采集的效果,在编写爬虫之前,选择怎么样的爬虫框架好? 今天就跟智连代理小编去看看pyt ...
一篇文章教会你Python网络爬虫程序的基本执行流程
网络爬虫是指在互联网上自动爬取网站内容信息的程序,也被称作网络蜘蛛或网络机器人.大型的爬虫程序被广泛应用于搜索引擎.数据挖掘等领域,个人用户或企业也可以利用爬虫收集对自身有价值的数据. 一个网络爬虫程 ...
[Python爬虫] 二、爬虫原理之定义、分类、流程与编码格式
往期内容提要: [Python爬虫] 一.爬虫原理之HTTP和HTTPS的请求与响应一.爬虫的定义.分类和流程爬虫定义网络爬虫(又被称为网页蜘蛛,网络机器人)就是模拟浏览器发送网络请求,接收请求 ...

python爬虫流程-Python：爬虫处理流程及网页解析

python爬虫流程-Python：爬虫处理流程及网页解析相关推荐

最新文章

热门文章