文章目录

遇到的问题
BeautifulSoup
- 四类主要节点
- - Tag
  - NavigableString
  - BeautifulSoup
  - Comment
- 遍历文档树
- - 子节点
  - 父节点
  - 兄弟节点
  - 回退和前进
- 搜索文档树
- - 过滤器
  - find_all()
  - find(), find_parent(), find_sibling(), find_next()等
- 修改文档树
- 输出
- 一些其他细节
- - 编码问题
  - 解析器
  - 代码诊断
  - 效率问题

遇到的问题

今天爬取一个新闻网站时，返回了一个的自闭标签,解析后为

<item><title>美丽乡村・吉林光东村：中俄朝边境的“老人村” 种稻旅游两不误</title><link/>http://www.chinanews.com/tp/hd2011/2018/12-05/855105.shtml<description></description><pubdate>2018-12-05 11:03:02</pubdate></item>

用item.link.text返回为空。为了解决该问题，查找资料后，发现用content[2]便可获得完整的链接。
随后，我又开始疑惑为何下标为2？因为正常不应该从0开始计数么？

为了解决该问题，遂自行测试了以下代码，并根据python console中调试值窥探了soup的完整结构，由于结构复杂，查阅其官方文档后，给出以下总结。

html_doc = """
<html><head><title>The Dormouse's story</title></head><body>
<p class="title"><b>The Dormouse's story</b></p><p class="story">Once upon a time there were three little sisters; and their names were<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;and they lived at the bottom of a well.
</p><p class="story">...</p>"""from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, 'html.parser')

// BeautifulSoup4解析该文件，文档树结构

BeautifulSoup

BeautifulSoup将复杂的HTML文档转换为一个复杂的树形结构，每个节点都是一个Python对象，对象可以归四类。Tag,NavigableString,BeautifulSoup,Comment

四类主要节点

Tag

主要两个属性：

{name : 标签类别。如: u'b' , u'a' , u'head'...attributes : 属性。如: <b class="boldset">有个"class"的属性，值为"boldset"。其操作方法与字典相同，tag['class'] // u'boldset'也可以直接获取属性。tag.attrs //{u'class': u'boldest'}如果面对多值属性，返回值为List。css_soup = BeautifulSoup('<p class="body strikeout"></p>')css_soup.p['class']# ["body", "strikeout"]
}

NavigableString

NavigableString类用来包装tag中的字符串

tag.string
# u'Extremely bold'
type(tag.string)
# <class 'bs4.element.NavigableString'>

Navigable字符串与Unicode字符串相同，但是支持了遍历文档树和搜索文档树中定义的大部分属性。因此我们可以将其转换为Unicode字符串
unicode_string = unicode(tag.string)

BeautifulSoup

BeautifulSoup 对象表示的是一个文档的全部内容。大部分时候，可以直接把它当作Tag对象。

Comment

Comment是一个特殊类型的NavigableString对象。如：注释及特殊字符串

markup = "<b><!--Hey, buddy. Want to buy a used parser?--></b>"
soup = BeautifulSoup(markup)
comment = soup.b.string
type(comment)
# <class 'bs4.element.Comment'>
comment
# u'Hey, buddy. Want to buy a used parser'

soup的主要内容：

遍历文档树

子节点

.contents 和 .children.contents属性可以将tag的子节点以列表的形式输出(不止tag还有navgableString)。# 值得注意的是，哪怕只有一个换行\n也会占用contents一个位置，因此，这样就解决了本文一开始contents[2]为什么是2的原因了。([0]被一个值为"\n"的navgableString占了).children(<list_iterator object at 0x000002CCB1294390>)是一个list类型的迭代器。

图1 contents的内容

图2 children迭代器的用法

.descendantsdescendants同样是list迭代器，只不过指的是子孙节点，用法同children。
.string如果tag只有一个子节点，可以直接获得子节点的值如果有多个子节点，返回null
.strings 和 stripped_stringsstrings也是一个迭代器，获得所有string(包括换行和空格)stripped_strings和strings一样，但是去掉了多余空白内容(删除了换行和空格)

父节点

.parent 和 .parents用法参考children

兄弟节点

.next_sibling 和 .previous_sibling下一个兄弟和前一个兄弟
.next_sibings 和 .previos_siblings迭代器。作用如其词义

回退和前进

HTML解析器把HTML文档的字符串转换成一连串的事件：“打开标签”，“打开一个标签”，”打开一个标签”,”添加一段字符串”,”关闭<title>标签”,等等。BeautifulSoup就是重现了该初始化过程。因此才有了，回退和前进的概念。

.next_element 和 .previous_element注意上述的过程，”打开一个<title>标签”,”添加一段字符串”,”关闭<title>标签”“打开<title>标签”后，下一个动作是“添加字符串”，因此next_element为"Tillie"。.next_elements 和 .previous_elements同样也是迭代器，为了便于理解next_elements到底是如何实现的，下面给出代码和运行结果。tag_a = soup.find("a",id = "link3")tag_a# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>for tmp in tag_a.next_elements:print(repr(tmp))# 'Tillie'# ';\n    and they lived at the bottom of a well.\n'# '\n'# <p class="story">...</p>   //注释:这个动作是打开<p>标签，所以tmp是一个tag类型# '...'# '\n'

搜索文档树

过滤器

    过滤器可以被用在tag的name中，节点属性中，字符串中或他们的混合中。
过滤器的类型：
1、字符串{最简单的过滤器。完整匹配。soup.find_all('b')# # [<b>The Dormouse's story</b>]
}
2、正则表达式{通过正则表达式的match()来匹配内容。灵活强大。import refor tag in soup.find_all(re.compile("^b")):print(tag.name)# body# b
}
3、列表{ 与列表中任一元素匹配。soup.find_all(["a", "b"])# [<b>The Dormouse's story</b>,#  <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,#  <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,#  <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
}
4、True{匹配任何值for tag in soup.find_all(True):print(tag.name)# html# head# title# body# p# b# p# a# a# a# p
}
5、函数{ 自定义过滤器。函数只接受一个tag参数，返回值为Bool型
def has_class_but_no_id(tag):return tag.has_attr('class') and not tag.has_attr('id')
soup.find_all(has_class_but_no_id)
# [<p class="title"><b>The Dormouse's story</b></p>,
#  <p class="story">Once upon a time there were...</p>,
#  <p class="story">...</p>]
}

find_all()

find_all( name , attrs , recursive , string , **kwargs )name:值：任一过滤器。作用：找出所有名字为name的子tag，字符串自动被忽略
attrs:值:除'函数'以外的过滤器。作用: 按照过滤器规则搜索满足指定属性的tag。(如果是class属性，应该改写为class_ = "值")
recursive:值: Bool值作用: True时，搜索当前tag的所有子孙节点。False时，只搜索tag的直接子节点。
string:值: 除""函数"以外的过滤器。作用: 搜索文档中的字符串内容
limit:值:int值作用:限制返回结果的数量。
eg:
find_all('a',class_="sister",recursive = False, string = "story", limit = 10)
# 查找当前tag下，<a>标签，class属性值为sister，直系子节点，字符串 = story，的前10个tag。

find(), find_parent(), find_sibling(), find_next()等

这些参数都类似，效果如其字义

修改文档树

暂时无该需求，后续再补。

输出

格式化输出
将文档树格式化后以Unicode编码输出，每个XML/HTML标签都独占一行。
压缩输出（无空格换行）
str(soup) //utf-8编码
unicode(soup) //Unicode编码

一些其他细节

编码问题

传入的文档被转换成Unicode,并且HTML的实例都被转换成Unicode编码。
BeautifulSoup有自动编码检测技术，如果想知道源文件什么编码，可以用：

    soup.original_encoding  # 'utf-8'

输出时，无论进来什么编码，输出都是UTF-8编码

解析器

lxml的解析器 > html5lib > python标准库
lxml HTML 解析器：BeautifulSoup(markup, “lxml”)
lxml XML 解析器：BeautifulSoup(markup, “xml”)
html5lib：BeautifulSoup(markup, “html5lib”)
Python标准库：BeautifulSoup(markup, “html.parser”)

代码诊断

如果想知道Beautiful Soup到底怎样处理一份文档,可以将文档传入 diagnose() 方法(Beautiful Soup 4.2.0中新增),Beautiful Soup会输出一份报告,说明不同的解析器会怎样处理这段文档,并标出当前的解析过程会使用哪种解析器:

from bs4.diagnose import diagnose
data = open("bad.html").read()
diagnose(data)# Diagnostic running on Beautiful Soup 4.2.0
# Python version 2.7.3 (default, Aug  1 2012, 05:16:07)
# I noticed that html5lib is not installed. Installing it may help.
# Found lxml version 2.3.2.0
#
# Trying to parse your data with html.parser
# Here's what html.parser did with the document:
# ...

效率问题

如果对效率要求很高，可以直接用lxml解析器。当然，BeautifulSoup使用lxml解析器的话，依旧比html5lib或Python内置解析器速度快很多。

有道云链接：http://note.youdao.com/noteshare?id=a7c5df8cd177db08f12947c9a9cd83ac
@copyright DAWN

BeautifulSoup总结及contents内容分析相关推荐

[Python从零到壹] 五.网络爬虫之BeautifulSoup基础语法万字详解
欢迎大家来到"Python从零到壹",在这里我将分享约200篇Python系列文章,带大家一起去学习和玩耍,看看Python这个有趣的世界.所有文章都将结合案例.代码和作者的经验讲 ...
【转载】关于Python Beautifulsoup的详细说明
Beautiful Soup 中文文档原文 by Leonard Richardson (leonardr@segfault.org) 翻译 by Richie Yan (richieyan@gma ...
Beautifulsoup官方文档
Beautiful Soup 中文文档原文 by Leonard Richardson (leonardr@segfault.org) 翻译 by Richie Yan (richieyan@gm ...
python soup歌词_python从入门到放弃篇35（BeautifulSoup库)爬取A神waiting for love歌词
今天,在研究BeautifulSoup库的使用方法和技巧,我看了一下BeautifulSoup库函数,觉得BeautifulSoup库没有lxml库的xpath函数那么好用,各有优势吧. 案例网址:h ...
[转]信息安全相关理论题(三)
21.静态分析是运行程序后进行调试? A. 对 B. 错您的答案: 标准答案: B 22.安卓反编译后会出现$符号字节码表示是匿名内部类? A. 对 B. 错您的答案: 标准答案: A 23.反编 ...
[转]信息安全相关理论题(二)
27.在工程实施之前,验收方可以不给施工方弱电布线图纸,但施工结束后必须有图纸 A. 对 B. 错您的答案: 标准答案: B 28.在OSI七层协议中,提供一种建立连接并有序传输数据的方法的层是 A ...
python解析库beautifulsoup_12_Python_解析库_BeautifulSoup的使用
1.安装 pip3 install BeautifulSoup Beautiful Soup支持的解析器解析器使用方法优势劣势 Python标准库 BeautifulSoup(markup, ...
Beautiful Soup 中文文档
原文 by Leonard Richardson (leonardr@segfault.org) 翻译 by Richie Yan (richieyan@gmail.com) ###如果有些翻译 ...
关于Python发帖机
Python语言: 校内网发帖机in Python,请勿滥用 #!/usr/bin/python #encoding=utf-8 #使用前请查找并更改用户名和密码import cookielib, u ...
Python【Crawler】2-聚焦爬虫
文章目录正则表达式爬取示例网页 bs4爬取安装导入使用定位数据 bs.tagName bs.find() bs.select() 解析数据获取文本获取属性案例 xpath爬取解析步 ...

BeautifulSoup总结及contents内容分析

文章目录

遇到的问题

BeautifulSoup

四类主要节点

Tag

NavigableString

BeautifulSoup

Comment

遍历文档树

子节点

父节点

兄弟节点

回退和前进

搜索文档树

过滤器

find_all()

find(), find_parent(), find_sibling(), find_next()等

修改文档树

输出

一些其他细节

编码问题

解析器

代码诊断

效率问题

BeautifulSoup总结及contents内容分析相关推荐

最新文章

热门文章