某条微博评论数据爬取

1,微博网页版爬取难度较大，本次爬取手机版评论数据：m.weibo.cn;
2,评论网页为动态的，查看方式network----XHR----请求对应的url

注：url中的id,mid与微博地址中的后缀一致，评论往下滑，20条之后，会出现新的url,新的url中多了max_id,该参数类似分页参数，在preview的data下面有，该max_id即下一条url中的max_id


import requests
import json
import pprint
import pandas as pd
import re#服务器返回的内容用变量接收
response=requests.get('https://m.weibo.cn/comments/hotflow?id=4664928428097689&mid=4664928428097689&max_id_type=0')print(response.text)
print(json.loads(response.text))
pprint.pprint(json.loads(response.text))#字典数据
data=json.loads(response.text)
pprint.pprint(data)
users=data['data']['data']lname=[]
ltext=[]
for user in users:#print(user['user']['id'])#print(user['user']['screen_name'])#print(user['text'])text=user['text']text=re.sub(r'<[^>]*>','',user['text'])  #去除图片name=user['user']['screen_name']print(name)print(text)lname.append(name)ltext.append(text)df=pd.DataFrame({'name':lname,'comment':ltext})
df=df[['name','comment']]df.to_excel(r'D:\comment.xlsx')

某条微博评论数据爬取相关推荐

微博评论数据爬取以及分析
#不许你没看过の系列!# 吹爆最近的国漫<哪吒之魔童降世> 从故事情节.角色设计到特效处理都非常牛!!! #连海报都好好看啊# 上映首周票房已经达到14.1亿! 打破国漫票房记录! 豆瓣 ...
python抓取微博评论_Python爬取新浪微博评论数据，你有空了解一下？
开发工具 Python版本:3.6.4 相关模块: argparse模块: requests模块: jieba模块: wordcloud模块: 以及一些Python自带的模块. 环境搭建安装Pyth ...
腾讯新闻评论数据爬取
前言鉴于最近在做观点挖掘的相关工作,观点的数据源是网络评论数据,于是第一个想到的就是新闻观点数据,一个热门的新闻可能一晚上就会有上万条评论,所以如何分析并利用好这些评论信息,将会是一件非常有意思的事 ...
爬虫项目八：Python对天猫商品数据、评论数据爬取
文章目录前言一.商品数据 1.分析url 2.登录账号 3.解析数据 4.模拟滑动滑块二.评论数据 1.分析url 2.解析数据前言天猫商城商品数据.评论数据爬取提示:以下是本篇文章正文内 ...
爬取携程和蚂蜂窝的景点评论数据\携程评论数据爬取\旅游网站数据爬取
本人长期出售超大量微博数据.旅游网站评论数据,并提供各种指定数据爬取服务,Message to YuboonaZhang@Yahoo.com.同时欢迎加入社交媒体数据交流群:99918768 前言 ...
python分析微博粉丝_GitHub - rainpenber/python_weiboSpider: 微博粉丝数据爬取分析僵尸粉...
python_weiboSpider 本项目关于微博数据爬取/文本分析/词云展示文本分析主要用到了LDA主题模型代码运行说明 1.weibopr.py是用来分析大V博主影响力的,同时会爬取博主微博 ...
python-东方财富网贴吧评论数据爬取
python-东方财富网贴吧文本数据爬取分享一下写论文时爬数据用到的代码,有什么问题或者改善的建议的话小伙伴们一起评论区讨论. def getzssz399001DATA(x,y): #爬取x至y页 ...
爬虫项目十：Python苏宁易购商品数据、评论数据爬取
文章目录前言一.商品数据 1.分析url 2.解析数据 3.实现翻页二.评论数据前言利用Python对苏宁易购商品数据评价数据实现爬取提示:以下是本篇文章正文内容,下面案例可供参考一.商 ...
电商评论数据爬取--R语言
1.网络爬虫 1.1 什么是网络爬虫网络爬虫(web crawler),也被称为网络蜘蛛(web spider),是在万维网浏览网页并按照一定规则提取信息的脚本或者程序. 浏览网页时,一般流程如下: ...
【Python爬虫实例学习篇】——5、【超详细记录】从爬取微博评论数据（免登陆）到生成词云
[Python爬虫实例学习篇]--5.[超详细记录]从爬取微博评论数据(免登陆)到生成词云个人博客地址:ht/tps://www.asyu17.cn/ 精彩部分提醒: (1)微博评论页详情链接为一个 ...

某条微博评论数据爬取

某条微博评论数据爬取相关推荐

最新文章

热门文章