python自带网页解析器_python 之网页解析器

一、什么是网页解析器

1、网页解析器名词解释

首先让我们来了解下，什么是网页解析器，简单的说就是用来解析html网页的工具，准确的说：它是一个HTML网页信息提取工具，就是从html网页中解析提取出“我们需要的有价值的数据”或者“新的URL链接”的工具。

2、网页解析图解

二、python 网页解析器

1、常见的python网页

常见的python网页解析工具有：re正则匹配、python自带的html.parser模块、第三方库BeautifulSoup(重点学习)以及lxm库。

2、常见网页解析器分类

以上四种网页解析器，是两种不同类型的解析器：

（1）模糊匹配

re正则表达式即为字符串式的模糊匹配模式；

（2）结构化解析

BeatufiulSoup、html.parser与lxml为“结构化解析”模式，他们都以DOM树结构为标准，进行标签结构信息的提取。（）

（3）结构化解析

我们在了解什么是结构化解析之前，需要先了解下什么是DOM树这个概念。

DOM树解释：即文档对象模型（Document Object Model），其树形标签结构，请见下图。

而所谓结构化解析，就是网页解析器它会将下载的整个HTML文档当成一个Doucment对象，然后在利用其上下结构的标签形式，对这个对象进行上下级的标签进行遍历和信息提取操作。

三、BeautifulSoup第三方库

1、beautifulsoup4 简介

Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python第三方库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.

2、beautifulsoup4 安装

（1）安装方法

我直接启动cmd命令行运行环境，使用pip管理工具进行安装，安装命令如下。

$ pip install beautifulsoup4

（2）安装测试

安装完成后，我直接启动IDLE环境，引入bs4测试其是否安装成功。>>>> from bs4 import BeautifulSoup

>>>> import bs4

>>>> print bs4

3、BeautifulSoup 语法

BeautifulSoup使用的一般流程就三步走：

（1）创建BeautifulSoup对象

（2）使用BeautifulSoup对象的操作方法find_all 与 find进行解读搜索。

如：>>>> soup.find_all('a')

>>>> soup.find(‘a’)

（3）利用DOM结构标签特性，进行更为详细的节点信息提取。

4、使用方法（学习重点）

（1）第一步：创建BeautifulSoup对象（即DOM对象）

（2）第二步：搜索节点（find_all,find）

搜索节点方法：soup.find_all()---查找所有符合查询条件的标签节点，并返回一个列表。

soup.find()--- 查找符合符合查询条件的第一个标签节点。

实例1：搜索所有标签>>>> soup.find_all('a')

实例2：查找所有标签符合标签名为a，链接符合 /view/123.html的节点

1)实现方法1：>>>> soup.find_all('a', href ='/view/123.html')

2)实现方法2：>>>> soup.find_all('a', href = re.compile(r'/view/\d+\.html'))

实例3：查找所有标签为名为a，class属性为abc，文字为python的节点>>>> soup.findall('a', class_='abc',string='python')

(3)第三步：访问节点信息

比如我们得到节点：I love Python

1) 获取节点名称>>>>node.name

2)获取查找到的a节点的href属性>>>> node['href'] 或者

>>>> node.get('href')

3）获取查找到的a节点的字符串内容>>>> node.get_text()

5、BeautifulSoup 信息提取实例

（转自http://www.cnblogs.com/my1e3/p/6622306.html）

python自带网页解析器_python 之网页解析器相关推荐

python的网页解析器_python 之网页解析器
一.什么是网页解析器 1.网页解析器名词解释首先让我们来了解下,什么是网页解析器,简单的说就是用来解析html网页的工具,准确的说:它是一个HTML网页信息提取工具,就是从html网页中解析提取出& ...
python提取网页表格信息_python 提取网页表格数据库数据库
python开源工具列表[持续更新] 以下是个人在工作中整理的一些python wheel,供参考.这个列表包含与网页抓取和数据处理的Python库网络通用urllib -网络库(stdlib). ...
python读取网页表格数据库_python 提取网页表格数据库数据库
python开源工具列表[持续更新] 以下是个人在工作中整理的一些python wheel,供参考.这个列表包含与网页抓取和数据处理的Python库网络通用urllib -网络库(stdlib). ...
python解析库_Python命令行解析库argparse
原博文 2014-08-13 05:48 − 2.7之后python不再对optparse模块进行扩展,python标准库推荐使用argparse模块对命令行进行解析. 1.example 有一道面试 ...
idle不是python自带的开发工具_Python的开发工具
通常情况下,为了提高开发效率,需要使用相应的开发工具.进行Python开发也可以使用开发工具.下面将详细介绍Python自带的IDLE 一使用自带的IDLE 在安装Python后,会自动安装一个IDL ...
python高级语法装饰器_Python高级编程——装饰器Decorator超详细讲解上
Python高级编程--装饰器Decorator超详细讲解(上篇) 送你小心心记得关注我哦!! 进入正文全文摘要装饰器decorator,是python语言的重要特性,我们平时都会遇到,无论是面向 ...
python 打开网页开发者工具_Python获取网页指定内容(BeautifulSoup工具的使用方法)...
page = urllib2.urlopen(url) contents = page.read() #获得了整个网页的内容也就是源代码 print(contents) url代表网址,content ...
python什么是装饰器_python学习之装饰器是什么？
学完python函数,接下来我们跟着猿人学python一起来看看什么是装饰器. 大家应该多多少少在其它地方有看过或是听过"装饰器"这个词.装饰器,顾名思义,就是用来装饰的,它装饰的 ...
python爬取动态页面图片_python动态网页爬取：爬取pexel上的图片
前言同样的,我们在写一个爬虫前要明确自己想要爬取的东西是什么,明确下载目标数据在浏览器的操作如何对于动态网页的爬取,在网页地址不变的情况下,我们首先要明确如何获取AJAX请求首先我们看看这个网站 ...

python自带网页解析器_python 之网页解析器

python自带网页解析器_python 之网页解析器相关推荐

最新文章

热门文章