使用BeautifulSoup解析网页内容

欢迎关注”生信修炼手册”!

BeautifulSoup模块用于解析html和xml文档中的内容，相比正则表达式，其更好的利用了html这种结构性文档的树状结构，解析起来更加方便。

解析的第一步，是构建一个BeautifulSoup对象，基本用法如下

>>> from bs4 import BeautifulSoup
>>> soup = BeautifulSoup(html_doc, 'html.parser')

第二个参数表示解析器，BeautifulSoup支持以下多种解释器，图示如下

在实际操作中，推荐使用lxm解析器，速度快而且稳定。解析完成后，就得到了一个文档树，我们可以通过这个文档树来快速的查找位点, 其核心就是操作文档树的子节点, 也称之为tag。

1. 访问标签

通过点号操作符，可以直接访问文档中的特定标签，示例如下

>>> soup = BeautifulSoup(html_doc, 'lxml')
>>> soup.head
<head><title>The Dormouse's story</title></head>
>>> soup.head.title
<title>The Dormouse's story</title>
>>> soup.a
<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>

这样的方式每次只会返回文档中的第一个标签，对于多个标签，则通过find_all方法返回多个标签构成的列表，示例如下

>>> soup.find_all('a')
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
>>> soup.find_all('a')[0]
<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>

还可以在find方法中添加过滤条件，更加精确的定位元素，示例如下

# 通过text进行筛选
>>> soup.find_all('a', text='Elsie')
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]
# 通过属性和值来进行筛选
>>> soup.find_all('a', attrs={'id':'link1'})
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]
# 上述写法的简便写法，只适合部分属性
>>> soup.find_all('a', id='link1')
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]
```
# 使用CSS选择器
# 注意class后面加下划线
>>> soup.find_all('p', class_='title')
[<p class="title"><b>The Dormouse's story</b></p>]

2. 访问标签内容和属性

通过name和string可以访问标签的名字和内容，通过get和中括号操作符则可以访问标签中的属性和值

>>> soup.a
<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>
>>> soup.a['class']
['sister']
>>> soup.a.get('class')
['sister']
>>> soup.a.name
'a'
>>> soup.a.string
'Elsie'

结合定位元素和访问属性的方法，可以方便快捷的提取对应元素，提高解析html的便利性。

·end·

—如果喜欢，快分享给你的朋友们吧—

原创不易，欢迎收藏，点赞，转发！生信知识浩瀚如海，在生信学习的道路上，让我们一起并肩作战！

本公众号深耕耘生信领域多年，具有丰富的数据分析经验，致力于提供真正有价值的数据分析服务，擅长个性化分析，欢迎有需要的老师和同学前来咨询。

使用BeautifulSoup解析网页内容相关推荐

python安全攻防---爬虫基础---BeautifulSoup解析
0x01 基础使用bs4首先要安装,安装后导入 import bs4 bs对象有两个方法,一个是find,另一个是find_all find(标签名,属性值):只返回一个,返回也是bs对象,可以继续 ...
python爬虫beautifulsoup_python爬虫beautifulsoup解析html方法
用BeautifulSoup 解析html和xml字符串实例: #!/usr/bin/python # -*- coding: UTF-8 -*- from bs4 import Beautiful ...
易语言解析网页内容替换换行符问题
易语言解析网页内容替换换行符,直接用字符数来替换分割文本 (局_结果, 字符 (10), )
Python3爬虫——用BeautifulSoup解析古诗文网
我们之前已经用Xpath分析过了古诗文网,但还是感觉有点麻烦,所以今天来讲BeautifulSoup库,它可以很方便的帮我们抓取网页的数据,同样也支持lxml解析器,下面我们来详细介绍: 安装Beau ...
爬虫入门一：BeautifulSoup解析豆瓣即将上映的电影信息
爬虫入门一一直很想学习一下爬虫,今天忙里偷闲看了一篇教程博客之后开始入门学习,很感谢教程作者的讲解与分享,文末附教程博客链接. BeautifulSoup解析豆瓣即将上映的电影信息 python代码 ...
用 BeautifulSoup 解析器分析 RSS
用 BeautifulSoup 解析器分析简易信息聚合RSS 运行代码它是如何工作的分析地址遍历所有资讯安装解析器检查打印运行代码虽然今天传来不好的消息,京城新增数十例,但是调试程序的工 ...
beautifulsoup解析
简介 beautifulsoup和lxml都是解析器优点:具有人性化接口缺点:没有lxml效率高 bs4基本语法(bs4解析本地文件) html文件如下: <!DOCTYPE html> ...
BeautifulSoup解析爱丽丝梦游仙境网页小练习
BeautifulSoup解析爱丽丝梦游仙境网页小练习 html_doc = """ <html><head><title>The D ...
转载自android 开发--抓取网页解析网页内容的若干方法(网络爬虫)（正则表达式）
转载自http://blog.csdn.net/sac761/article/details/48379173 android 开发--抓取网页解析网页内容的若干方法(网络爬虫)(正则表达式) 标签: ...
Day08、BeautifulSoup解析库，MongoDB存储库，requests-html请求库
一.解析库之bs4 ''' pip3 install beautifulsoup4 # 安装bs4 pip3 install lxml # 下载lxml解析器 ''' html_doc = " ...

使用BeautifulSoup解析网页内容

使用BeautifulSoup解析网页内容相关推荐

最新文章

热门文章