Python网络爬虫--BeautifulSoup库的基本元素

requests

requests库可以看看这篇文章
http://blog.csdn.net/shanzhizi/article/details/50903748
最近在学习嵩天老师的Python网络爬虫课程,记录一下.

bs4

1.Beautiful Soup库，也叫beautifulsoup4 或bs4
约定引用方式如下，即主要是用BeautifulSoup类

from bs4 import BeautifulSoup
import bs4

2.BeautifulSoup库解析器

3.BeautifulSoup类的基本元素

4.测试代码(太乱了)

import requests
from bs4 import BeautifulSoupr = requests.get('http://python123.io/ws/demo.html',timeout = 30)
r.raise_for_status()
r.encoding = r.apparent_encoding
# print(r.text)
demo = r.text
soup = BeautifulSoup(demo,"html.parser")
print(soup.title)
tag = soup.a
print(tag)
print(soup.a.parent.name) #通过name获得标签的名字
print(soup.a.parent.parent.name)
print(tag.attrs) #标签的属性,以字典形式打印,href class id
print(tag.attrs['class'])
print(tag.attrs['href'])
print(type(tag))  # a标签的类型 bs4中认可的属性
print(tag.string)
print(soup.p.string)
print(type(soup.p.string))  #bs4.element.NavigableString类型,p标签之间的内容的类型

Python网络爬虫--BeautifulSoup库的基本元素相关推荐

python网络爬虫--BeautifulSoup
本随笔记录学习崔庆才老师编著的<Python3网络爬虫开发实战>以及<Beautiful Soup 4.4.0文档>. 安装BeautifulSoup4以及解析器 Instal ...
python网络爬虫第三方库_Python常用第三方库大盘点
Python语言有超过12万个第三方库,覆盖信息技术几乎所有领域.下面简单介绍下网络爬虫.自动化.数据分析与可视化.WEB开发.机器学习和其他常用的一些第三方库,如果有你感兴趣的库,不妨去试试它的功能 ...
python网络爬虫工具库集合
经常逛 GitHub 的同学可能会听说过大名鼎鼎的 awesome 仓库,没错,就是这个:https://github.com/sindresorhus/awesome. 这个库可谓是一个极大的宝藏, ...
python网络爬虫系列教程——python中pyquery库应用全解
全栈工程师开发手册 (作者:栾鹏) python教程全解 python网络爬虫lxml库的应用全解. 在线安装方法:cmd中输入"pip install pyquery" 离线安装 ...
python网络爬虫系列教程——python中lxml库应用全解（xpath表达式）
全栈工程师开发手册 (作者:栾鹏) python教程全解 python网络爬虫lxml库的应用全解. 在线安装方法:cmd中输入"pip install lxml" 离线安装,下载 ...
Python网络爬虫简介与环境配置
第一章 Python网络爬虫简介与环境配置 1.1 网络爬虫简介随着互联网的快速发展越来越多的信息被发布到互联网上,这些信息被嵌入到各种各样的网页结构及样式中.虽然搜索引擎可以辅助用户搜索这些网页信 ...
爬虫书籍-Python网络爬虫权威指南OCR库 NLTK 数据清洗 BeautifulSoup Lambda表达式 Scrapy 马尔可夫模型
Python网络爬虫权威指南编辑推荐适读人群 :需要抓取Web 数据的相关软件开发人员和研究人员作为一种采集和理解网络上海量信息的方式,网页抓取技术变得越来越重要.而编写简单的自动化程序(网络爬 ...
Python 网络爬虫笔记3 -- Beautiful Soup库
Python 网络爬虫笔记3 – Beautiful Soup库 Python 网络爬虫系列笔记是笔者在学习嵩天老师的<Python网络爬虫与信息提取>课程及笔者实践网络爬虫的笔记. 课程 ...
Python 网络爬虫笔记5 -- Beautiful Soup库实战
Python 网络爬虫笔记5 – Beautiful Soup库实战 Python 网络爬虫系列笔记是笔者在学习嵩天老师的<Python网络爬虫与信息提取>课程及笔者实践网络爬虫的笔记. ...

Python网络爬虫--BeautifulSoup库的基本元素

requests

bs4

Python网络爬虫--BeautifulSoup库的基本元素相关推荐

最新文章

热门文章