2022爬取微博评论-极简40行代码

思路：找到用户评论内容的位置，分析各个xhr里的不同，解析html，提取一页数据，通过循环判断拿到整条微博评论内容的数据，存储数据。

分析：网页源代码未找到评论相关的内容，打概率是通过异步加载的，把挡位调到Fetch/XHR,一个个打开在预览里查看，在buildComments里开头的能找到，从负载里明显看到几个xhr的不同：

1，第一个的数据只有6行数据，其余都是8行，且第一个没有max_id和flow的数据

2.中间的max_id每个不同，且最后一个xhr的max_id =0

很明显这数据很容易通过json拿到，包括用户 id 日期评论内容等

上代码：

import requests
import csv #方便存储数据
import time  #防止被微博识别爬虫，让速度慢些
f = open("微博评论1.csv",mode ='w',newline='',encoding='utf-8')
csv_writer = csv.DictWriter(f,fieldnames=['用户id','用户','评论日期','评论内容'
])
csv_writer.writeheader()   #创建表头
#加headers python访问微博时更像是人来操作，防止微博识别爬虫
headers = {"cookie": "*****","referer": "https://weibo.com/1720962692/MeGtbrorP","user-agent": "*****","x-requested-with": "XMLHttpRequest"
}

cooking为了登录爬取更多数据，ua和cooking涉及隐私不展示了

mid =""   #因为第一页没有max_id ，用来判断,这里不要设置成None
while True: #循环if mid == "":n_url = 'https://weibo.com/ajax/statuses/buildComments?is_reload=1&id=4834998496528837&is_show_bulletin=2&is_mix=0&count=10&uid=1720962692'elif mid ==0: #最后一页的max_id = 0用来结束循环breakelse:n_url ="https://weibo.com/ajax/statuses/buildComments?flow=0&is_reload=1&id=4834998496528837&is_show_bulletin=2&is_mix=0&max_id="+str(mid)+"&count=20&uid=1720962692"resp = requests.get(url=n_url, headers=headers)datas = resp.json()['data']print(datas)mid = resp.json()['max_id']print(mid)time.sleep(3)for data in datas:dit = {'用户id': data['user']['id'],'用户': data['user']['screen_name'],'评论日期': data['created_at'],'评论内容': data['text_raw']}csv_writer.writerow(dit)

完成展示下结果

2022爬取微博评论-极简40行代码相关推荐

看看你爱的他今天是什么‘颜色‘ -- Python爬取微博评论制作专属偶像词云
简介:快来拿出你珍藏的pick star,用大家对他的爱重塑一个他吧.通过爬取微博评论,制作你的偶像图片词云,天天都是不重样的哦! 很多人学习python,不知道从何学起. 很多人学习python,掌 ...
python跑一亿次循环_python爬虫爬取微博评论
原标题:python爬虫爬取微博评论 python爬虫是程序员们一定会掌握的知识,练习python爬虫时,很多人会选择爬取微博练手.python爬虫微博根据微博存在于不同媒介上,所爬取的难度有差异,无 ...
ajax将数据显示在class为content的标签中_python爬取微博评论（无重复数据）
python爬取微博评论(无重复数据) 前言一.整体思路二.获取微博地址 1.获取ajax地址2.解析页面中的微博地址3.获取指定用户微博地址三.获取主评论四.获取子评论 1.解析子评论2.获 ...
python爬取微博评论点赞数_python 爬虫爬微博分析数据
python 爬虫爬微博分析数据最近刚看完爱情公寓5,里面的大力也太好看了吧... 打开成果的微博,小作文一样的微博看着也太爽了吧... 来用python分析分析狗哥这几年微博的干了些啥. ...
python爬虫微博评论图片_python爬虫爬取微博评论
原标题:python爬虫爬取微博评论 python爬虫是程序员们一定会掌握的知识,练习python爬虫时,很多人会选择爬取微博练手.python爬虫微博根据微博存在于不同媒介上,所爬取的难度有差异,无 ...
php抓取微博评论,python爬虫爬取微博评论案例详解
前几天,杨超越编程大赛火了,大家都在报名参加,而我也是其中的一员. 在我们的项目中,我负责的是数据爬取这块,我主要是把对于杨超越的每一条评论的相关信息. 数据格式:{"name" ...
python3爬取微博评论教程_用python 爬取微博评论，怎么打开微博评论下的查看更多|...
怎样用python爬新浪微博大V所有数据先上结论,通过公开的api如爬到某大v的所有数据,需足以下两个条件: 1.在你的爬虫开始运行时,该大v的所有微博发布量没有超过回溯查询的上限,新浪是2000, ...
python爬取微博恶评_python爬取微博评论的实例讲解
python爬虫是程序员们一定会掌握的知识,练习python爬虫时,很多人会选择爬取微博练手.python爬虫微博根据微博存在于不同媒介上,所爬取的难度有差异,无论是python新入手的小白,还是已经 ...
python爬取微博评论（通过xpath解析的方式）
前段时间笔者写了一份儿爬取微博评论的代码,是用了http://m.weibo.cn的接口,通过这个接口比较好的是代码比较好写,因为数据都是json格式的,规律性非常直观,属性json数据和字典操作的朋 ...

2022爬取微博评论-极简40行代码

思路：找到用户评论内容的位置，分析各个xhr里的不同，解析html，提取一页数据，通过循环判断拿到整条微博评论内容的数据，存储数据。

很明显这数据很容易通过json拿到，包括用户 id 日期评论内容等

上代码：

完成展示下结果

2022爬取微博评论-极简40行代码相关推荐

最新文章

热门文章

2022爬取微博评论-极简40行代码

思路：找到用户评论内容的位置，分析各个xhr里的不同，解析html，提取一页数据，通过循环判断拿到整条微博评论内容的数据，存储数据。

很明显这数据很容易通过json拿到，包括用户 id 日期 评论内容等

上代码：

完成展示下结果

2022爬取微博评论-极简40行代码相关推荐

最新文章

热门文章

很明显这数据很容易通过json拿到，包括用户 id 日期评论内容等