Python模拟Ajax请求爬取微博

一分析请求

1 Chrome浏览器打开开发工具，然后访问https://m.weibo.cn/u/2830678474

2 一直滑动页面以加载新的微博内容。可以看到，会不断有Ajax请求发出。

3 选定其中一个请求，分析它的参数信息。点击该请求，进入详情页面，如下图：

4 可以发现，这是一个GET类型的请求，请求链接为[https://m.weibo.cn/api/container/getIndex?type=uid&value=2830678474&containerid=1076032830678474&page=2)。请求的参数有4个：type、value、containerid和page。

5 随后再看看其他请求，可以发现，它们的type、value和containerid始终如一。type始终为uid，value的值就是页面链接中的数字，其实这就是用户的id。另外，还有containerid。可以发现，它就是107603加上用户id。改变的值就是page，很明显这个参数是用来控制分页的，page=1代表第一页，page=2代表第二页，以此类推。

二分析响应

1 响应数据如下：

这个内容是JSON格式的，浏览器开发者工具自动做了解析以方便我们查看。可以看到，最关键的两部分信息就是cardlistInfo和cards：前者包含一个比较重要的信息total，观察后可以发现，它其实是微博的总数量，我们可以根据这个数字来估算分页数；后者则是一个列表，它包含10个元素，展开其中一个看一下。

2 单条微博数据

可以发现，这个元素有一个比较重要的字段mblog。展开它，可以发现它包含的正是微博的一些信息，比如attitudes_count（赞数目）、comments_count（评论数目）、reposts_count（转发数目）、created_at（发布时间）、text（微博正文）等，而且它们都是一些格式化的内容。

这样我们请求一个接口，就可以得到10条微博，而且请求时只需要改变page参数即可。

这样的话，我们只需要简单做一个循环，就可以获取所有微博了。

三爬取代码

import requests
from urllib.parse import urlencode
from pyquery import PyQuery as pq
from pymongo import MongoClient# 表示请求的URL的前半部分
base_url = 'https://m.weibo.cn/api/container/getIndex?'headers = {'Host': 'm.weibo.cn','Referer': 'https://m.weibo.cn/u/2830678474','User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36','X-Requested-With': 'XMLHttpRequest',
}
client = MongoClient()
db = client['weibo']
collection = db['weibo']
max_page = 10# 定义一个方法来获取每次请求的结果。在请求时，page是一个可变参数，所以我们将它作为方法的参数传递进来
def get_page(page):#  构造参数字典，其中type、value和containerid是固定参数，page是可变参数params = {'type': 'uid','value': '2830678474','containerid': '1076032830678474','page': page}# 调用urlencode()方法将参数转化为URL的GET请求参数，# 即类似于type=uid&value=2830678474&containerid=1076032830678474&page=2这样的形式# base_url与参数拼合形成一个新的URL。url = base_url + urlencode(params)try:# 我们用requests请求这个链接，加入headers参数response = requests.get(url, headers=headers)# 然后判断响应的状态码，如果是200，则直接调用json()方法将内容解析为JSON返回，否则不返回任何信息。if response.status_code == 200:return response.json(), page# 如果出现异常，则捕获并输出其异常信息。except requests.ConnectionError as e:print('Error', e.args)# 定义一个解析方法，用来从结果中提取想要的信息
def parse_page(json, page: int):if json:items = json.get('data').get('cards')# 想保存微博的id、正文、赞数、评论数和转发数这几个内容，那么可以先遍历cards，# 然后获取mblog中的各个信息，赋值为一个新的字典返回for index, item in enumerate(items):if page == 1 and index == 1:continueelse:item = item.get('mblog', {})weibo = {}weibo['id'] = item.get('id')# 借助pyquery将正文中的HTML标签去掉。weibo['text'] = pq(item.get('text')).text()weibo['attitudes'] = item.get('attitudes_count')weibo['comments'] = item.get('comments_count')weibo['reposts'] = item.get('reposts_count')yield weibo# 加一个方法将结果保存到MongoDB数据库
def save_to_mongo(result):if collection.insert(result):print('Saved to Mongo')# 用程序模拟Ajax请求，将前10页微博全部爬取下来
if __name__ == '__main__':# 遍历一下page，一共10页，将提取到的结果打印输出即可for page in range(1, max_page + 1):json = get_page(page)results = parse_page(*json)for result in results:# 打印结果print(result)# 保存到mongoDBsave_to_mongo(result)

四结果

1 打印

2 数据库

Python模拟Ajax请求爬取微博相关推荐

Python爬虫——Ajax数据爬取
前言有时候我们在用requests抓取页面的时候,得到的结果可能和在浏览器中看到的不一样,在浏览器中可以看到正常显示的页面数据,但使用requests得到的结果并没有.这是因为在requests获得 ...
python爬虫——使用selenium爬取微博数据（一）
python爬虫--使用selenium爬取微博数据(二) 写在前面之前因为在组里做和nlp相关的项目,需要自己构建数据集,采用selenium爬取了几十万条微博数据,学习了很多,想在这里分享一下如 ...
【Python实战】批量爬取微博素材，一分钟百张大图自动下载
目录前言一.思考逻辑二.观察URL 三.微博爬虫四.下载保存结尾前言大家好,我是Samaritan. 这期本来想做个咸鱼写个学习笔记发的,然后没做成咸鱼临时变卦,再写一期实战. 事情 ...
python 爬关键词,Python爬虫实战：爬取微博热搜关键词
一.爬取微博热搜关键词需要的第三方库 1.requests 2.BeautifulSoup 美味汤 3.worldcloud 词云 4.jieba 中文分词 5.matplotlib 绘图二.爬取微 ...
17-分析Ajax请求--爬取易烊千玺微博【以及简单的数据分析】
目的:爬取易烊千玺的微博,包括:点赞数.评论数.转发数.发布时间.微博正文长度.每次的微博id 结果呈现:屏幕显示爬取完成:相应的文件夹的生成注:此时进行简单的数据分析-------文本长度.点赞数 ...
python Scrapy Selenium PhantomJS 爬取微博图片
1,创建项目 scrapy startproject weibo #创建工程 scrapy genspider -t basic weibo.com weibo.com #创建spider 目录结构 ...
Python网络爬虫之爬取微博热搜
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资 ...
强智科技教务系统学科成绩c语言,湖南强智科技教务系统python模拟登录并爬取成绩（财院）...
其实之前有写过一篇帖子了在之前使用教务系统的过程中,偶然一次发现登上教务系统后再退出来的后的登录网址竟然不需要验证码,想着之前有写过教务系统的爬虫模拟登录,没验证码的岂不是更好干(之前那次折腾了好久 ...
python模拟ajax请求_短信炸弹—用Python模拟ajax请求
我们经常使用各种脚本发送网络请求,提交各种形式的body数据,所以Content-Type的类型也有很多种. 常见的取值有: application/xml : 在 XML RPC,如 RESTful ...

Python模拟Ajax请求爬取微博

Python模拟Ajax请求爬取微博相关推荐

最新文章

热门文章