因为要用python做学校网络的认证程序，需要解析服务器传回的html，本以为会像javascript里操作DOM那样简单，结果发现并不是 这样，被搞了一下。

其实python里面有xml.dom模块，但是这次却不能用，为啥呢？因为服务器传回的html从xml角度看不是良构的，没有闭合的标签、没有 被注释掉的javascript和css，xml.dom没法处理，这个时候要用sgmllib。

sgmllib.py 包含一个重要的类: SGMLParser。SGMLParser 将 HTML 分解成有用的片段， 比如开始标记和结束标记。一旦它成功地分解出某个数据为一个有用的片段，它会根据 所发现的数据，调用一个自身内部的方法。为了使用这个分析器，您需要子类化 SGML- Parser类，并且覆盖这些方法。

SGMLParser类里面包含了很多内部方法，开始读取html后，遇到相应的数据就会调用其对应的方法，最重要的方法有三个：

  • start_tagname(self, attrs)
  • end_tagname(self)
  • handle_data(self, text)

tagname就是标签名称，比如当遇到<pre>，就会调用start_pre，遇到</pre>，就会调用 end_pre，attrs即为标签的参数，以[(attribute, value), (attribute, value), ...]的形式传回，我们要做的就是在其子类重载自己感兴趣标签对应的函数。

一个经典的例子：

  1. from sgmllib import SGMLParser
  2. class URLLister(SGMLParser):
  3. self.urls = []
  4. def start_a(self, attrs):                     
  5. href = [v for k, v in attrs if k=='href'] 
  6. if href:
  7. self.urls.extend(href)

顾名思义，这个类的作用就是把html中的所有连接（<a>标签）中的地址（href属性的值）提取出来，放到一个list里面，很实 用的功能。^^

比如处理下面的html：

<tr>
<td height="207" colspan="2" align="left" valign="top" class="normal">
<p>Damien Rice - 《0》 </p>
<a href="http://galeki.xy568.net/music/Delicate.mp3">1. Delicate</a><br />
<a href="http://galeki.xy568.net/music/Volcano.mp3">2. Volcano</a><br />
<a href="http://galeki.xy568.net/music/The Blower's Daughter.mp3">3. The Blower's Daughter</a><br />
<a href="http://galeki.xy568.net/music/Cannonball.mp3">4. Cannonball </a><br />
<a href="http://galeki.xy568.net/music/Older Chests.mp3">5. Order Chests</a><br />
<a href="http://galeki.xy568.net/music/Amie.mp3">6. Amie</a><br />
<a href="http://galeki.xy568.net/music/Cheers Darlin'.mp3">7. Cheers Darling</a><br />
<a href="http://galeki.xy568.net/music/Cold Water.mp3">8. Cold water</a><br />
<a href="http://galeki.xy568.net/music/I Remember.mp3">9. I remember</a><br />
<a href="http://galeki.xy568.net/music/Eskimo.mp3">10. Eskimo</a></p>
</td>
</tr>

很乱对吧？下面让举个例子利用URLLister提取出上面mp3下载的地址：

  1. date="上面那一堆…………"
  2. lister=URLLister()
  3. lister.feed(date)

用feed()把要处理的html传递给对象实体，然后我们来看看处理结果：

  1. print lister.urls 

显示：

['http://galeki.xy568.net/music/Delicate.mp3', 
'http://galeki.xy568.net/music/Volcano.mp3',
"http://galeki.xy568.net/music/The Blower's Daughter.mp3",
'http://galeki.xy568.net/music/Cannonball.mp3', 
'http://galeki.xy568.net/music/Older Chests.mp3', 
'http://galeki.xy568.net/music/Amie.mp3', 
"http://galeki.xy568.net/music/Cheers Darlin'.mp3",
'http://galeki.xy568.net/music/Cold Water.mp3', 
'http://galeki.xy568.net/music/I Remember.mp3', 
'http://galeki.xy568.net/music/Eskimo.mp3']

好了，是不是很方便？现在我们知道了如何处理标签中的属性，那么如何处理标签包含的文字呢？就是上面列出的handle_data(self, text)，当遇到标签内的内容，就会调用这个函数，传入的text自然就是标签内的内容了，不过，如何筛选出感兴趣标签内的内容呢？比如上面歌曲的列 表，这时候就要配合start_tagname、end_tagname，用做标记的方法来达到这个目的：

  1. class ListName(SGMLParser):
  2. is_a=""
  3. name=[]
  4. def start_a(self, attrs):
  5. self.is_a=1
  6. def end_a(self):
  7. self.is_a=""
  8. def handle_data(self, text):
  9. if self.is_a:
  10. self.name.append(text)

这里添加了一个is_a标记，再在handle_date中添加一个if，也就是说，仅仅在a标签内，才会把标签里的内容加到name[]里去。

看看结果：

  1. listname=ListName()
  2. listname.feed(date)
  3. print listname.name

显示:

['1.Delicate', '2.Volcano', "3.The Blower's Daughter",
 '4.Cannonball ', '5.Order Chests', '6.Amie', 
 '7.Cheers Darling', '8.Cold water', '9.I remember', 
 '10.Eskimo']

OK，搞定～

SGMLParser内置的方法不仅仅只有这三个，还有处理注释的handle_comment，还有处理声明的handle_decl等等等等， 不过使用方法和上面的基本相同，不再多写了。

本文转sinojelly51CTO博客，原文链接：http://blog.51cto.com/pnig0s1992/412049，如需转载请自行联系原作者

用python解析html[SGMLParser]相关推荐

  1. 用python解析html

    python中,有三个库可以解析html文本,HTMLParser,sgmllib,htmllib.他们的实现方法不通,但功能差不多.这三个库中 提供解析html的类都是基类,本身并不做具体的工作.他 ...

  2. python解析response_python:解析requests返回的response(json格式)说明

    我就废话不多说了,大家还是直接看代码吧! import requests, json r = requests.get("http://192.168.207.160:9000/api/qu ...

  3. python解析json_python解析json文件

    概念 序列化(Serialization):将对象的状态信息转换为可以存储或可以通过网络传输的过程,传输的格式可以是JSON.XML等.反序列化就是从存储区域(JSON,XML)读取反序列化对象的状态 ...

  4. python 解析xml

    在工作中很多时候都要用到xml,使用这个时候难免会设计到解析他,然后就研究了一下python解析xml问题,看了很多东西,python有很多解析xml的包,但是也折腾我好一段时间,最后选择了这个方法. ...

  5. python 读取文件读出来是什么格式-深入学习python解析并读取PDF文件内容的方法...

    这篇文章主要学习了python解析并读取PDF文件内容的方法,包括对学习库的应用,python2.7和python3.6中python解析PDF文件内容库的更新,包括对pdfminer库的详细解释和应 ...

  6. python中读取文件内容-深入学习python解析并读取PDF文件内容的方法

    这篇文章主要学习了python解析并读取PDF文件内容的方法,包括对学习库的应用,python2.7和python3.6中python解析PDF文件内容库的更新,包括对pdfminer库的详细解释和应 ...

  7. python 命令-python解析命令行参数的三种方法详解

    这篇文章主要介绍了python解析命令行参数的三种方法详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 python解析命令行参数主要有三种方法: ...

  8. 【Android 逆向】使用 Python 解析 ELF 文件 ( Capstone 反汇编 ELF 文件中的机器码数据 | 完整代码示例 ) ★★★

    文章目录 一.完整代码示例 二.执行结果 三.博客资源 一.完整代码示例 使用 Python 解析 ELF 文件完整代码示例 : # coding=utf-8 # 解析 elf 文件需要导入的依赖库 ...

  9. python 解析xml格式_Python解析XML文件

    1.概述 Python有三种方法解析XML:SAX,DOM,以及ElementTree: 1.SAX (simple API for XML ) python 标准库包含SAX解析器,SAX用事件驱动 ...

最新文章

  1. Java单链表反转 详细过程
  2. （*长期更新）软考网络工程师学习笔记——Section 15 无线网络技术
  3. 怎样快速画出一个正方体_小学数学非常有效的“画图”解题法，快速解题的“金钥匙”...
  4. Bootstrap 导航条的组件
  5. 小程序服务器1兆宽带够用,宽带经验 篇一：200M宽带，真的适合你吗？
  6. java BitSet2
  7. LCM模组的简介与质量管理（连载四）
  8. 大龄程序员的8种出路
  9. 2K分辨率显示器调整缩放125%部分软件模糊的解决办法
  10. Spring Cloud Gateway 自定义网络响应状态码（401,500,503等等）
  11. 探索式测试--第八章（软件测试的未来）--读书笔记
  12. hibernate一对一主键关联映射（单向关联Person-----IdCard）
  13. 简单利用路由黑洞解决DDOS流量攻击
  14. 考试系统自动答题，你还在为不及格烦恼么？
  15. mywife.cc 神一样的存在！
  16. 一个简单的SQL注入攻击
  17. 最简单的SpringCloudStream集成Kafka教程
  18. 刷脸支付潮酷在年轻化的场景中颇受欢迎
  19. vulnhub之raven2
  20. 招聘|蔚来汽车招感知算法工程师（Intern）

热门文章

  1. hibernate tools for eclipse plugins在线怎么安装
  2. oauth2 单点登录_Spring Security Oauth2和Spring Boot实现单点登录
  3. C语言函数集（十一）
  4. Flutter开发之布局-4-container（18）
  5. layui中监听select下拉框改变事件
  6. 多层数据源处理复杂数据结构
  7. 继续咸鱼——2.18
  8. [ Luogu 3924 ] 康纳的线段树
  9. 洛谷 1359 租用游艇
  10. （POJ-3279）Fliptile （dfs经典---也可以枚举）