Python网络爬虫与信息提取(二):网络爬虫之提取
此系列笔记来源于
中国大学MOOC-北京理工大学-嵩天老师的Python系列课程
转载自:http://www.jianshu.com/p/7b950b8a5966
4. Beautiful Soup库入门
Beautiful Soup库可对HTML/XML格式进行解析并提取相关信息
- 安装:管理员方式打开CMD-输入
pip install beautifulsoup4
小测:获得链接的HTML代码内容
使用beautifulsoup解析 - Beautiful Soup库的基本元素
Beautiful Soup库是解析/遍历/维护”标签熟”的功能库,引用方式:
from bs4 import BeautifulSoup
import bs4
Beautiful Soup库的4种解析器:
Beautiful Soup类的基本元素:
bs类基本元素- Tag标签
任何存在于HTML语法中的标签都可用**soup.<tag>访问获得,存在多个取第一个
- Tag的name
每个<tag>有自己的名字,通过<tag>.name获取,字符串类型
- Tag的attrs
- Tag的NavigableString
- Tag的Comment
- Tag标签
- 基于bs4库的HTML内容遍历方法
三种遍历方式- 下行遍历
属性
遍历 - 上行遍历
属性
遍历 - 平行遍历
属性
遍历
- 下行遍历
- 基于bs4库的HTML格式输出
使用prettify()方法,为HTML文本<>及其内容增加”\n’并且可用于标签/方法
5.信息组织与提取方法
- 信息标记的三种形式及比较
XML(eXtensible Markup Language)是最早的通用信息标记语言,可扩展性好,但繁琐;标签由名字和属性构成,形式有:<name>...</name> <name /> <!-- -->
JSON(JavaScript Objection Notation)适合程序处理,较XML简洁;有类型的键值对,形式有:
"key":"value" "key":["value1","value2"] "key":{"subkey":"subvalue"}
YAML(YAML Ain’t Markup Language)文本信息比例最高,可读性好;无类型的键值对,形式有:
key:value key:#Comment -value1 -value2 key: subkey:subvalue
- 信息提取的一般方法
- 完整解析信息的标记形式再提取关键信息,需要标记解析器;优点是解析准确,缺点是提取繁琐且慢
- 无视标记形式,直接搜索关键信息;优点是提取速度快,缺点是准确性与信息内容相关
- 结合两种方法,需要标记解析器和文本搜索功能
- 基于bs4库的HTML内容查找方法
<>.find_all(name,attrs,recursive,string,**kwargs)` #返回一个列表类型,存储查找的结果 #name:对标签名称的检索字符串 #attrs:对标签属性值的检索字符串,可标注属性检索 #recursive:是否对子孙全部搜索,默认True #string:对字符串域进行检索
由find_all()扩展的七个方法:
扩展方法
6.实例一:中国大学排名爬虫
步骤1:从网络上获取大学排名网页内容getHTMLText()
步骤2:提取网页内容中信息到合适的数据结构fillUnivList()
步骤3:利用数据结构展示并输出结果printUnivLise()
import requests
from bs4 import BeautifulSoup
import bs4def getHTMLText(url):try:r = requests.get(url,timeout=30)r.raise_for_status()r.encoding=r.apparent_encodingreturn r.textexcept:return "error" def fillUnivList(ulist,html):soup=BeautifulSoup(html,"html.parser")for tr in soup.find('tbody').children:if isinstance(tr,bs4.element.Tag):tds = tr('td')ulist.append([tds[0].string,tds[1].string,tds[3].string])def printUnivList(ulist,num):tplt="{0:^10}\t{1:{3}^10}\t{2:^10}"print(tplt.format("排名","学校名称","总分",chr(12288)))for i in range(num):u=ulist[i]print(tplt.format(u[0],u[1],u[2],chr(12288)))def main():uinfo = []url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'html = getHTMLText(url)fillUnivList(uinfo,html)printUnivList(uinfo,20)
main()
Python网络爬虫与信息提取(二):网络爬虫之提取相关推荐
- python 中主线程结束 子线程还在运行么_Python爬虫进阶(二)爬虫之多任务模块(Ⅰ)...
今天,咱们来讨论多任务模块了. 一.多任务介绍 二.多线程的创建 一.多任务介绍 多任务,有很多场景中的事情是同时进行的,比如开车的时候,手和脚共同来驾驶汽车,再比如唱歌跳舞也是同时进行的.这些就是多 ...
- python医疗发票 信息抽取_PYTHON网络爬虫与信息提取[信息的组织与提取](单元五)...
1 三种信息类型的简介 xml : extensible markup language 与html非常相似 现有html后有xml xml是html发展来的 扩展 通用 json 类型 javas ...
- 网络渗透测试实验二 网络嗅探与身份认证
实验目的和要求 实验目的: 1.通过使用Wireshark软件掌握Sniffer(嗅探器)工具的使用方法,实现捕捉HTTP等协议的数据包,以理解TCP/IP协议中多种协议的数据结构.通过实验了解HTT ...
- python网络爬虫与信息提取_北京理工大学_Python网络爬虫与信息提取(一)
学习 北京理工大学 嵩天 课程笔记 课程体系结构: 1.Requests框架:自动爬取HTML页面与自动网络请求提交 2.robots.txt:网络爬虫排除标准 3.BeautifulSoup框架:解 ...
- Python之网络爬虫(爬虫基本认知、网络爬虫之路)
文章目录 一.爬虫基本认知 二.爬虫之路 初级爬虫工程师 中级爬虫工程师 高级爬虫工程师 一.爬虫基本认知 1.爬虫的简单定义 网络爬虫,又称为网页蜘蛛.蚂蚁.蠕虫.模拟程序,在FOAF社区中,被称为 ...
- Python爬虫初探(九)——爬虫之Beautifulsoup4实战(爬取豆瓣信息)
前面两章咱们介绍了Beautifuisoup4模块的简单使用,今天就用它来爬取豆瓣信息.话不多说,咱们开始吧. 一.拿到url地址 二.获取豆瓣数据 三.保存文件 需求: 爬取标题.评分.详情页的地址 ...
- 以下用于数据存储领域的python第三方库是-南开《网络爬虫与信息提取》19秋期末考核题目【标准答案】...
<网络爬虫与信息提取>19秋期末考核-0001 试卷总分:100 得分:70 一.单选题 (共 20 道试题,共 40 分) 1.如果很多爬虫同时对一个网站全速爬取,那么其实就是对网站进行 ...
- Python网络爬虫与信息提取
1.Requests库入门 Requests安装 用管理员身份打开命令提示符: pip install requests 测试:打开IDLE: >>> import requests ...
- MOOC《Python网络爬虫和信息提取》(第11次)网络爬虫之框架(第4周)
MOOC<Python网络爬虫和信息提取>(第11次)网络爬虫之框架(第4周) MOOC–Python网络爬虫和信息提取(第11次开课) 网络爬虫之框架 21.08.10 目录 文章目录 ...
最新文章
- 介绍一篇通过无监督depth estimation改进语义分割的论文
- c语言英汉互译编程,用C语言编辑简单英汉互译词典.doc
- 四种主流的 API 架构风格对比
- java在src创建entity文件_java自动生成entity文件
- 建立基于以太坊的私有网络和智能合约
- why SAP Fiori action sheet is created as disabled by default
- python-聚类图像分割
- vuex其实超简单,只需3步
- 康托展开逆展开算法笔记
- 诺基亚N9手机升级后PR1.3后反应迟钝、发热、耗电快的问题
- 手机图标ui设计尺寸:ui设计app图标尺寸规范
- STM32串口中断接收一帧数据
- 编辑ListView(Edit,Update,Inse
- UT-FT-ST测试
- caffe学习之conver_imageset.bin的使用方法,caffe下图片转lmdb格式类型数据总结
- 编程初学者入门训练-KiKi和酸奶
- java web—水果店管理系统
- SpringBoot中注入RedisTemplate实例异常解决
- Apple Mac放大招——搭载M1 Ultra,性能完胜RTX 3090,功耗降低200W
- Spring Boot缓存实战 EhCache
热门文章
- ubuntu 安装 docky
- IntelliJ IDEA使用说明
- 使用自定义的item、Adapter和AsyncTask、第三方开源框架PullToRefresh联合使用实现自定义的下拉列表(从网络加载图片显示在item中的ImageView)...
- [Swift算法]巴比伦法(牛顿迭代法)求平方根
- javascript:void到底是个什么?
- tq2440 jlink连接问题
- DirectX 3D相关资源参考
- 5年博龄只有十几篇文章,惭愧呀
- 我的小型网站搜索分词中遇到的问题
- 刚登录,有点感觉就想写下来