python爬取新浪博客_Python爬取韩寒全部新浪博客

接上一篇，我们根据第一页的链接爬取了第一页的博客，我们不难发现，每一页的链接就只有一处不同(页码序号)，我们只要在上一篇的代码外面加一个循环，这样就可以爬取所有博客分页的博文，也就是所有博文了。

# -*- coding : -utf-8 -*-

import urllib

import time

url = [' ']*350

page = 1

link = 1

while page <=7://目前共有7页，3

con = urllib.urlopen('http://blog.sina.com.cn/s/articlelist_1191258123_0_'+str(page)+'.html').read()

i = 0

title = con.find(r'

while title != -1 and href != -1 and html != -1 and i<350:

url[i] = con[href + 6:html + 5]

content = urllib.urlopen(url[i]).read()

open(r'allboke/'+url[i][-26:],'w+').write(content)

print 'link',link,url[i]

title = con.find(r'

python爬取新浪博客_Python爬取韩寒全部新浪博客相关推荐

python爬取淘宝商品信息_python爬取淘宝商品信息并加入购物车
先说一下最终要达到的效果:谷歌浏览器登陆淘宝后,运行python项目,将任意任意淘宝商品的链接传入,并手动选择商品属性,输出其价格与剩余库存,然后选择购买数,自动加入购物车. 在开始爬取淘宝链接之前, ...
python可以爬取的内容有什么_Python爬取视频(其实是一篇福利)过程解析 Python爬虫可以爬取什么...
如何用python爬取视频网站的数据如何用python爬取js渲染加载的视频文件不是每个人都有资格说喜欢,也不是每个人都能选择伴你一生! 有哪位大神指导下,有些视频网站上的视频文件是通过 js 加载 ...
python爬取b站弹幕分析_Python 爬取「后浪」弹幕，看看大家都在说什么
前天,正好是五四青年节, B 站的一条献给年轻人的视频「后浪」火了,一时间到处都是各种讨论「后浪」的声音. 其他的平台先不管,先看看 B 站平台本身用户对「后浪」的评价. B 站的评论是弹幕的形式,想 ...
python实现qq登录腾讯视频_Python爬取腾讯视频评论的思路详解
一.前提条件安装了Fiddler了(用于抓包分析) 谷歌或火狐浏览器如果是谷歌浏览器,还需要给谷歌浏览器安装一个SwitchyOmega插件,用于代理服务器有Python的编译环境,一般选择Py ...
python爬取饿了么评论_python爬取饿了么的实例
python爬取饿了么的实例发布时间:2020-11-17 10:55:40 来源:亿速云阅读:85 作者:小新小编给大家分享一下python爬取饿了么的实例,相信大部分人都还不怎么了解,因此分 ...
python如何把ts视频拼接起来_Python爬取网站m3u8视频，将ts解密成mp4，合并成整体视频...
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 今天群里面有一个小伙伴发了一个链接,出于好奇,点击去看了一下,然后确定试试看. 基本开发环境 ...
python爬取微博非好友圈_python爬取微博好友圈信息
自从改了'海边长大就喜欢浪'这个id后,就更加喜欢刷新浪微博了,于是乎爬一下新浪微博好友圈信息通过提交cookie信息模拟登录移动端新浪微博(http://m.weibo.cn),爬取'好友圈'信息 ...
python爬取微博数据存入数据库_Python爬取新浪微博评论数据，写入csv文件中
因为新浪微博网页版爬虫比较困难,故采取用手机网页端爬取的方式操作步骤如下: 1. 网页版登陆新浪微博 2.打开m.weibo.cn 3.查找自己感兴趣的话题,获取对应的数据接口链接 4.获取cook ...
python爬取高考各高校分数线_Python 爬取高校历年分数线
最近一周一直在帮家里小弟看高考志愿,所以更新的没那么频繁了,请大家见谅. 在看各高校的往年分数时,忍不住手痒,想着能不能给它爬下来?哈哈,说干就干! 1 流程分析之前无意中在这个网站发现有各个高校的 ...
python爬取新闻并归数据库_Python爬取数据并写入MySQL数据库操作示例
Python爬取数据并写入MySQL数据库的实例首先我们来爬取 http://html-color-codes.info/color-names/ 的一些数据. 按 F12 或 ctrl+u 审查元 ...

python爬取新浪博客_Python爬取韩寒全部新浪博客

python爬取新浪博客_Python爬取韩寒全部新浪博客相关推荐

最新文章

热门文章