爬虫日记(6)：beautifulsoup的基本使用2

前面已经介绍了怎么样下载beautifulsoup库，以及初步地使用它，本文将深入一些来学习它。我们要使用beautifulsoup库，大部分的原因就是直接去搜索HTML文本很费力气，用了这个库之后就可以快速地查找到合适的元素。

beautifulsoup库为了方便地去查找到指定的元素，它需要遍历整个HTML文本，然后把它们生成一串python对象，再把这些对象构建成一颗树。Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种: Tag , NavigableString , BeautifulSoup , Comment 。

要产生beautifulsoup对象，那么可以使用两种办法，一种是直接输入HTML或XML文本，另外一种是传入文件句柄。

from bs4 import BeautifulSoup

soup = BeautifulSoup(open("index.html"))

soup = BeautifulSoup("<html>data<

爬虫日记(6)：beautifulsoup的基本使用2相关推荐

python爬虫日记01
PYTHON爬虫日记01 记录自己的学习爬虫日记选用python作为编程语言 1.环境准备 python3.6+ mysql pycharm 2.思路以爬取猫眼top100为目标 1.分析ur ...
爬虫日记之01编辑系统环境变量
爬虫日记 2021-1-19 一.配置pip和python的环境报错一: from bs4 import BeautifulSoupwith open('D:/Coding/pycharm/jike ...
爬虫下载文章 BeautifulSoup
原文链接: 爬虫下载文章 BeautifulSoup 上一篇: HDU 1427 dfs 速算24点下一篇: 简单爬虫爬知乎日报 # coding=utf-8from bs4 import Bea ...
爬虫日记之07正则表达式（手把手教你区分贪婪匹配和惰性匹配）
爬虫日记之07正则表达式 2022-3-6 正则表达式 Regular Expression,正则表达式,一种使用表达式的方式对字符串进行匹配的语法规则我们可以把抓取到的网页源代码看成一个超长的字符 ...
Python 实用爬虫-04-使用 BeautifulSoup 去水印下载 CSDN 博客图片
Python 实用爬虫-04-使用 BeautifulSoup 去水印下载 CSDN 博客图片其实没太大用,就是方便一些,因为现在各个平台之间的图片都不能共享,比如说在 CSDN 不能用简书的图片, ...
2018/01/22 爬虫日记
20171024 ①导入自定义的模块(如类),需要在当前类作导入类的引用声明,如self.tool = tool.Tool() 20171025 ①正则表达式:两个<><>之 ...
[python知识] 爬虫知识之BeautifulSoup库安装及简单介绍
一. 前言在前面的几篇文章中我介绍了如何通过Python分析源代码来爬取博客.维基百科InfoBox和图片,其文章链接如下: [python学习] 简单爬取维基百科程 ...
Python爬虫：用BeautifulSoup进行NBA数据爬取
爬虫主要就是要过滤掉网页中没用的信息.抓取网页中实用的信息一般的爬虫架构为: 在python爬虫之前先要对网页的结构知识有一定的了解.如网页的标签,网页的语言等知识,推荐去W3School: W3s ...
当当网畅销书排行爬虫（requests+BeautifulSoup）
今天要做的是一个爬取当当网畅销书排行的爬虫,之后想看排行直接运行程序就可以看到啦,没有多余的信息,是不是很给力! 在前两次的爬虫编写过程中,思想都是把整个HTML文档看做一个很长很长的字符串,通过编写 ...
爬虫入门教程⑧— BeautifulSoup解析豆瓣即将上映的电影信息
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时 ...

爬虫日记(6)：beautifulsoup的基本使用2

爬虫日记(6)：beautifulsoup的基本使用2相关推荐

最新文章

热门文章