获取新浪网的链接信息

sgmllib.py 包含一个重要的类: SGMLParser。SGMLParser 将 HTML 分解成有用的片段，比如开始标记和结束标记。一旦它成功地分解出某个数据为一个有用的片段，它会根据所发现的数据，调用一个自身内部的方法。为了使用这个分析器，您需要子类化 SGML- Parser类，并且覆盖这些方法。

SGMLParser类里面包含了很多内部方法，开始读取html后，遇到相应的数据就会调用其对应的方法，最重要的方法有三个：

start_tagname(self, attrs)
end_tagname(self)
handle_data(self, text)

tagname就是标签名称，比如当遇到<pre>，就会调用start_pre，遇到</pre>，就会调用 end_pre，attrs即为标签的参数，以[(attribute, value), (attribute, value), ...]的形式传回，我们要做的就是在其子类重载自己感兴趣标签对应的函数。

from sgmllib import SGMLParser
import urllib
import urllib2
import socket
socket.setdefaulttimeout(210)

class URLLister(SGMLParser):
def reset(self):
self.url=[]
SGMLParser.reset(self)

def start_a(self,attrs):
href=[v for k,v in attrs if k=='href']
if href:
self.url.extend(href)

parser=URLLister()

myurl='http://www.sina.com.cn'
request=urllib2.Request(myurl)
opener=urllib2.build_opener()
page=opener.open(request)

if page.code==200:
predata=page.read()
parser.feed(predata)
print parser.url,"\n"

获取新浪网的链接信息相关推荐

独家 | 虚假疫苗网站如何获取你的个人信息
作者: Lance Whitney翻译:陈超校对:王可汗本文约1000字,建议阅读3分钟本文揭示了诈骗网站如何利用人们对新冠疫苗信息的关注获取用户的个人信息. 该网站最近被政府查封,该网站仿造一家开发 ...
Spring+Mybatis多数据源配置（三）——Spring如何获取Properties文件的信息
欢迎支持笔者新作:<深入理解Kafka:核心设计与实践原理>和<RabbitMQ实战指南>,同时欢迎关注笔者的微信公众号:朱小厮的博客. 欢迎跳转到本文的原文链接:https: ...
header python 环境信息_python获取网页header头部信息（python小白学习笔记二）
方法一:代码查看通过python获取网页的链接url,返回码,以及相关的信息 #对反爬虫网页,可以设置一些headers信息,模拟成浏览器取访问网站 import urllib.request ur ...
获取登录域帐号信息方式之 —-IIS(VB)
前言 java web 项目如何获取客户端登录帐号信息(用于SSO或其他) 之前总结过一篇在Java 的Web 项目中获取客户端帐号信息的文章.参见以上链接的内容. 除了那些方式之外, 还可以使用II ...
C/C++通过WMI和系统API函数获取获取系统硬件配置信息（转）
前段时间由于项目需要,要求做一个服务器的实时性能监控(CPU.内存.网络利用率等)和读取服务器的硬件配置参数的接口供项目组使用,就是一个类似于鲁大师之类的东东吧... 当然第一想法肯定是利用Windo ...
Android系统信息获取之十四：获取WIFI热点相关信息
当在Android设备终端上使用Wifi热点的时候,需要获知Wifi热点的运行状态,热点是否打开,连接到该WIFI热点的设备数量,以及连接设备的具体IP和MAC地址. 使用re文件管理器去" ...
php对接京东宙斯平台,利用京东联盟API获取自定义推广链接
本文将简单介绍下京东联盟.京东宙斯两个平台,以及如何利用京东宙斯平台的京东联盟API来快速获取自定义推广链接. 关于京东联盟京东联盟(去官网看看)是一个CPS模式的营销平台,我们可以使用自己的网站放 ...
使用IPMi获取服务器的硬件信息，如风扇转速、cpu等
开启IPMI模块 IPMI是服务器的智能化管理平台接口,我们要通过这个接口获取所有的硬件信息以及控制服务器开关机. 使用IPMI的前提是服务器支持IPMI即带有BMC的硬件模块,将网线接到BMC模块就 ...
实现微信打开网页时，获取当前微信用户信息（Java）（基于snsapi_userinfo方式）
/*** 1 第一步:用户同意授权,获取code* 2 第二步:通过code换取网页授权access_token* 3 第三步:刷新access_token(如果需要)* 4 第四步:拉取用户信息(需 ...

获取新浪网的链接信息

获取新浪网的链接信息相关推荐

最新文章

热门文章