Python3爬虫韩寒新浪博客文章

利用Python3把韩寒新浪博客每篇文章的链接找出，并把每篇文章的正文下载为html格式文件。

# -*- coding: utf-8 -*-
import urllib.request
import reurl=['']*350
#建立350个列表用来存储每篇博文的地址链接
i=0
page=1
while page<8:#所有文章有7页，因此循环查找每一页content=urllib.request.urlopen("http://blog.sina.com.cn/s/articlelist_1191258123_0_"+str(page)+".html").read()#数值INT不能直接与字符串直接连接起来，用函数str先把数值转为字符串content=content.decode('utf-8')#把content转为str格式，不转置为byte格式find函数无法使用title=content.find(r'<a title=')href=content.find(r'href',title)#找到title后在接着从该处往后查找html=content.find(r'html',href)while title != -1 and href != -1 and html !=-1 and i < 350:url[i]=content[href+6:html+4]#获取链接print(url[i])title=content.find(r'<a title=',html)href=content.find(r'href',title)html=content.find(r'html',href)i=i+1else:print(str(page) +'find end!')page=page+1
else:print('All Find End')#以上语句找到所有博文的文章链接后，下面开始逐条下载，并把正文保存下来
j=0
while j<350 and len(url[j])>0:#实现文章数目是低于350的，当判断链接为空的时候则停止下载con=urllib.request.urlopen(urll[j]).read()con=con.decode("utf-8")title = re.findall(r'<title>.*</title>',con)#取标题title = re.sub('<title>|</title>','',title[0])#把<title></title>替换为空，title[0]把title取为string，原title是List格式，无法使用re.subtitle=title.replace('*','')#有篇文章标题含有*符号，保存的时候会报错，用来替代掉*号text = re.findall(r'<!-- 正文开始 -->.*<!-- 正文结束 -->', con,re.DOTALL)[0]  open(r'hanhan/'+str(j)+title+'.html','w+').write(text)print('downing',urll[j])j=j+1
else:print('download finish')

#下面为Python中find函数的官方说明，start/end为可选填写，如果找不到则返回-1
Help on method_descriptor:find(...)S.find(sub[, start[, end]]) -> intReturn the lowest index in S where substring sub is found,such that sub is contained within S[start:end].  Optionalarguments start and end are interpreted as in slice notation.Return -1 on failure.

找到每篇文章地址，可以使用正则表达式只提取文章中的文字并保存为txt文件，后期会继续优化代码。

代码版本：Python3.5

Python3爬虫韩寒新浪博客文章相关推荐

Python爬虫爬取一篇韩寒新浪博客
网上看到大神对Python爬虫爬到很多有用的信息,觉得很厉害,突然对想学Python爬虫,虽然自己没学过Python,但在网上找了一些资料看了一下,看到爬取韩寒新浪博客的视频,共三集,第一节讲爬取一篇 ...
2016-12-17 新浪博客服务器挂掉了，所有博客页面都无法打开
今天(2016-12-17 10:20)早晨从百度上检索到一篇新浪博客文章,点进去之后显示无法访问此网址,如下截图去新浪博客主页看了看,主页是可以打开的但是点进去任何一篇文章,都无法打开此页面应 ...
python爬取新浪博客_python网络爬虫新浪博客篇
上次写了一个爬世纪佳缘的爬虫之后,今天再接再厉又写了一个新浪博客的爬虫.写完之后,我想了一会儿,要不要在博客园里面写个帖子记录一下,因为我觉得这份代码的含金量确实太低,有点炒冷饭的嫌疑,就是把上次的代 ...
黄聪：wordpress文章同步发布到网易、天涯、新浪博客、百度空间插件
新浪博客,网易博客,百度空间,天涯博客都是权重很高的第三方博客平台.如果能保持更新,有助于提升主站权重.有了博客同步插件,直接在wordpress 后台设置一下,wordpress 自动把更新的日志同 ...
android博客排行榜,新浪博文排行_新浪博客新浪博客Android客户端
新浪博客新浪博客Android客户端 JPG,330x294,231KB,281_250 醉是春花烂漫时 JPG,480x800,191KB,250_417 新浪博客 JPG,472x216,23 ...
[转载]Word直接发布新浪博客（以Word 2013为例）
2019独角兽企业重金招聘Python工程师标准>>> 原文地址:Word直接发布新浪博客(以Word 2013为例) 作者:paulke2011 注意:这篇博客直接由Word 20 ...
html代码通用代码,新浪博客通用html代码及其使用方法
经常上新浪博客又偶尔看到有些NX的博客总会把自己的领地打扮得漂漂亮亮的,总给人一种神圣敢,让人羡慕不已.其实方法很简单,你也可以轻松打造! 首先,你登陆你的博客 > 控制面板 > 首页内容 ...
推荐一款自己的软件作品[豆约翰博客备份专家]，新浪博客，QQ空间，CSDN，cnblogs博客备份，导出CHM,PDF(转载)...
推荐一款自己的软件作品[豆约翰博客备份专豆约翰博客备份专家是完全免费,功能强大的博客备份工具,博客电子书(PDF,CHM和TXT)生成工具,博文离线浏览工具,软件界面美观大方,支持多个主流博客网站( ...
再读杨绛_RWERWERWE_96921_新浪博客
前几天在新浪博客上看到关于杨绛先生病危的消息还并未在意,以为又是一些无聊的人编造一些类似于"金庸去世"的戏码,今天在朋友圈发现杨绛先生去世的确凿消息后,心中便有一些感慨了. 杨绛 ...
新浪博客(sina blog)批量删除代码
今天想再次删除新浪博客中的文章,同时包括垃圾箱中的. 操作了几个觉得太郁闷了,只能一条一条的删除,有1k左右条呢, 得操作多久? 看了一下,需要保留的只是几条; 于是查看了下html代码,找到规则,写 ...

Python3爬虫韩寒新浪博客文章

Python3爬虫韩寒新浪博客文章相关推荐

最新文章

热门文章