怎样用python爬新浪微博大V所有数据

先上结论，通过公开的api如爬到某大v的所有数据，需足以下两个条件：

1、在你的爬虫开始运行时，该大v的所有微博发布量没有超过回溯查询的上限，新浪是2000，twitter是3200。

2、爬虫程序必须不间断运行。

新浪微博的api基本完全照搬twitter，其中接口的参数特性与底层的NoSQL密不可分，建议先看点Nosql数据库的设计理念有助于更好的理解api设计。

一般来说，如果决定爬某个大v，第一步先试获取该用户的基本信息，中间会包含一条最新的status，记下其中的id号作为基准，命名为baseId。

接口中最重要的两个参数：

since_id：返回ID比since_id大的微博(即比since_id时间晚的微博)，默认为0。

max_id：返回ID小于或等于max_id的微博，默认为0。

出于各种原因，获取statuses的接口，固定为按id降序排列(scan_index_forward=false)，即最新的statuses返回在前。假设该微博第一天上线，就一个用户，发了一百条，id是1到100。而你在该用户发了第50条的时候开始运行的爬虫，即baseId=50。

如何使用python爬取到高清原图

# -*- coding:utf8 -*-

# 2013.12.36 19:41 wnlo-c209

# 抓取dbmei.com的图片

from bs4 import BeautifulSoup

import os, sys, urllib2

# 创建文件夹，昨天刚学会

path = os.getcwd()        # 获取此脚本所在目

new_path = os.path.join(path,u'豆瓣妹子')

if not os.path.isdir(new_path):

os.mkdir(new_path)

def page_loop(page=0):

url = 'http://www.dbmeizi.com/?p=%s' % page

content = urllib2.urlopen(url)

soup = BeautifulSoup(content)

my_girl = soup.find_all('img')

# 加入结束检测，写的不好....

if my_girl ==[]:

print u'已经全部抓取完毕'

sys.exit(0)

print u'开始抓取'

for girl in my_girl:

link = girl.get('src')

flink = 'http://www.dbmeizi.com/'   link

print flink

content2 = urllib2.urlopen(flink).read()

with open(u'豆瓣妹子' '/' flink[-11:],'wb') as code:#在OSC上现学的

code.write(content2)

page = int(page)   1

print u'开始抓取下一页'

print 'the %s page' % page

page_loop(page)

page_loop()

print "~~~~~~~~~~~~~~~~~~~~~~~~~~END~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~"

#为了避免双击的时候直接一闪退出，在最后面加了这么一句

raw_input("Press To Quit!")

如何使用python爬取豆瓣个人相册里的高清原图？

给你个链接看看，改下正则表达式就可以了

python爬虫

用python 爬取微博评论，怎么打开微博评论下的查看更多

基本的套路就是利博账号模拟登陆，这个过程复杂，因为微博有处理，去github下载一个python模拟登陆新浪的源码。

当你通过模拟登陆进入微博界面的时候，尝试如何用python的模块去提交query,然后通过beautifulsoup或者是httpparse来获取内容信息。当然，自己学习正则表达式来获取也是可以的。

版权声明：本站所有文章皆为原创，欢迎转载或转发，请保留网站地址和作者信息。