python爬虫：bs4搜索文档树

'''
find:找一个
find_all:找多个标签查找与属性查找:标签:- 字符串过滤器   字符串全局匹配name 属性匹配attrs 属性查找匹配text 文本匹配- 正则过滤器re模块匹配- 列表过滤器列表内的数据匹配- bool过滤器True匹配- 方法过滤器用于一些要的属性以及不需要的属性查找。属性:- class_- id
'''
html_doc = """
<html><head><title>The Dormouse's story</title></head><body><p class="sister"><b>$37</b></p><p class="story" id="p">Once upon a time there were three little sisters; and their names were<a href="http://example.com/elsie" class="sister" >Elsie</a><a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>and they lived at the bottom of a well.</p><p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc,'lxml')# find与find_all搜索文档
# soup.find()
# name 属性匹配
# attrs 属性查找匹配
# text 文本匹配'''
字符串过滤器
'''
p = soup.find(name='p')
p_s = soup.find_all(name='p')
print(p)
print(p_s)# name + attrs
p = soup.find(name='p',attrs={"id":"p"})
print(p)# name + text
tag = soup.find(name='title',text="The Dormous's story")
print(tag)# name + attrs + text
tag = soup.find(name='a',attrs={"class":"sisiter"},text='Elsie')
print(tag)'''
- 正则过滤器re模块匹配
'''
import re# name
# 根据re模块匹配带有a的节点
a = soup.find(name=re._compile('a'))
a_s = soup.find_all(name=re._compile('a'))
print(a)
print(a_s)# attrs
a=soup.find(attrs={"id":re._compile('link')})
print(a)#   - 列表过滤器
#   列表内的数据匹配
print(soup.find(name=['a','p','html',re._compile('a')]))
print(soup.find_all(name=['a','p','html',re._compile('a')]))#  - bool过滤器
#    True匹配
print(soup.find(name=True,attrs={"id":True}))#  - 方法过滤器
#    用于一些要的属性以及不需要的属性查找。def have_id_not_class(tag):print(tag.name)if tag.name == 'p' and tag.has_attr("id") and not tag.has_attr("class"):return tagprint(soup.find_all(name=函数对象))
print(soup.find_all(name=have_id_not_class))# 补充知识点：
# id
a = soup.find(id='link2')
print(a)# class
p = soup.find(class_='sister')
print(p)

转载于:https://www.cnblogs.com/Auraro997/p/11128209.html

python爬虫：bs4搜索文档树相关推荐

Python : Beautiful Soup修改文档树
修改文档树 Beautiful Soup的强项是文档树的搜索,但同时也可以方便的修改文档树修改tag的名称和属性在 Attributes 的章节中已经介绍过这个功能,但是再看一遍也无妨. 重命名一 ...
Python 爬虫利器 Beautiful Soup 4 之文档树的搜索
前面两篇介绍的是 Beautiful Soup 4 的基本对象类型和文档树的遍历, 本篇介绍 Beautiful Soup 4 的文档搜索搜索文档树主要使用两个方法 find() 和 find_al ...
Python爬虫BS4库的解析器正确使用方法
bs4库之所以能快速的定位我们想要的元素,是因为他能够用一种方式将html文件解析了一遍 ,不同的解析器有不同的效果.下文将一一进行介绍. bs4解析器的选择网络爬虫的最终目的就是过滤选取网络信息, ...
python爬虫：BeautifulSoup_遍历文档树
前提.回顾 1.因为最近工作中都是在跟XML格式的报文打交道:主要就是XML报文的解析.入库.在做自动化时,需要解析XML报文,前面虽然学习过下BeautifulSoup,结果这次在写脚本时,突然发现 ...
python数据采集6-读取文档
文章目录 python数据采集6-读取文档文档编码纯文本 CSV PDF 微软Word和.docx python数据采集6-读取文档有种观点认为,互联网基本上就是那些符合新式 Web 2.0 潮 ...
python批量提取word指定内容_使用python批量读取word文档并整理关键信息到excel表格的实例...
目标最近实验室里成立了一个计算机兴趣小组倡议大家多把自己解决问题的经验记录并分享就像在CSDN写博客一样虽然刚刚起步但考虑到后面此类经验记录的资料会越来越多所以一开始就要做好模板设计(如下 ...
使用 Python 创建自己的文档扫描仪
介绍对这个项目的动机很简单.我们中的许多人转向了在线工作. 随着在线工作量的增加,人们通常不得不通过电子邮件或其他方式呈现文档的数字化版本.换句话说,将任何文档转换为扫描文档. 本文,将介绍如何使用 ...
Python 爬虫 bs4 数据解析基本使用
Python 爬虫 bs4 基本使用 1. bs4 基本语法 1.1 获取 html 页面 1.2 获取标签 1.3 获取标签中的内容 1.4 获取标签中的属性 2. 实例免责声明:自本文章发布起, ...
Python+pymupdf处理PDF文档案例6则
推荐图书: <Python程序设计(第3版)>,(ISBN:978-7-302-55083-9),清华大学出版社,2020年6月第1次印刷,7月第2次印刷京东购买链接:https://i ...
用Python提取解析pdf文档中内容
用Python提取解析pdf文档中内容文章目录: 参考: 1.https://blog.csdn.net/tmaczt/article/details/82876018 # Tika库 2.http ...

python爬虫：bs4搜索文档树

python爬虫：bs4搜索文档树相关推荐

最新文章

热门文章