python爬微博数据中心_怎样用python爬新浪微博大V所有数据？

最近为了做事件分析写了一些微博的爬虫，两个大V总共爬了超70W的微博数据。

官方提供的api有爬取数量上限2000，想爬取的数据大了就不够用了...

果断撸起袖子自己动手！先简单说一下我的思路：

一、目标选择

在确定爬取对象时，在移动端展示的数据可以满足的情况下，优先选择移动端。难度要低很多。

二、分析目标网站

在开始构造爬虫前，需要先了解目标网站的结构和数据传输方式。

拿本次爬取对象举例：

在开发者模式下可以找到构造页面内容的包，Request URL是页面数据api接口，滚动加载几页后即可发现规律。

在此 page = 2控制了滚动的页码数，可通过构造页面链接爬取微博大V所有的微博数据。

Content-Type：application/json; charset=utf-8 标明了页面数据是通过json返回的，编码类型为utf-8。

然后分析json包，里面包含了很多数据集，找你需要的就好：

其中的id 为构造某一条微博评论链接的关键数据，如果想爬具体某条微博下的评论数据需要用id的值来构造评论页链接。正常可感知的数据：微博内容、评论数、点赞数、分享数、发布时间和来源都是可以直接获取的。

页面分析的差不多了，可以开始构造微博爬虫了。

三、模拟浏览器请求

正常爬取微博时需要先登录，这里可以使用post请求将账号和密码传入的方式实现。也可以直接在浏览器内登录后使用登录后的api链接构造请求头，然后使用get方式请求即可。

本次按照第二种方式实现。在模拟请求头时，只需构造'User-Agent'和'Referer'这两组信息就行。

header=({'User-Agent': '在你的浏览器开发模式下获取此信息',

'Referer': '在你的浏览器开发模式下获取此信息',

})

这两组信息都可以在该页面的开发者模式下获取到：

（涉及到个人信息我涂掉了...）

构造完请求头，使用requests库进行模拟请求，请求成功网站服务器识别到模拟的浏览器请求会返回网站的json数据，然后通过python的json库来解析它。

到目前为止的代码为：

# _*_ coding:utf-8 _*_ #声明程序的编写字符

import requests #导入requests库

import json #导入json库

def get_data(url):

for a in range (0,560): #通过不断传入参数a来构造链接页码

url = '上面获取到的页面链接'+str(a)

header=({'User-Agent': '在你的浏览器开发模式下获取此信息',

'Referer': '在你的浏览器开发模式下获取此信息'})

data = requests.get(url,headers=header,timeout=10) #通过requests的get方法请求

data = json.loads(data.text) #解析json数据

四、数据清洗

json数据拿到后，需要对数据进行清洗，筛选出想要的字段信息。

再次分析json返回的数据，所有的微博内容都放在字典data下的['cards']中，按层级关系取出来就可以了。

每一页会返回10条微博内容，在每一页的['cards']中将其依次取出：

for i in range(0,10):

text = data['data']['cards'][i]['mblog']['text'].strip() #爬取每一页的所有微博内容

其他数据按照上面讲述的方式依次取就可以了，这里就不赘述了。

将爬取到的数据写入数据库：

如果想要爬取每一条微博下的所有评论内容，则需要先将评论链接构造出来，然后依次请求这些链接，后面的思路跟爬取微博内容类似。

本次爬取的数据分析结论首发在我的公众号：产品汪生存指南

刚刚起步，急需各种关爱~！o(*￣▽￣*)ブ ~~

欢迎关注，一起学习一起成长。

python爬微博数据中心_怎样用python爬新浪微博大V所有数据？相关推荐

如何用python爬微博数据_怎样用python爬新浪微博大V所有数据？
最近为了做事件分析写了一些微博的爬虫,两个大V总共爬了超70W的微博数据. 官方提供的api有爬取数量上限2000,想爬取的数据大了就不够用了... 果断撸起袖子自己动手!先简单说一下我的思路: 一. ...
用python爬微博数据_怎样用python爬新浪微博大V所有数据？
最近为了做事件分析写了一些微博的爬虫,两个大V总共爬了超70W的微博数据. 官方提供的api有爬取数量上限2000,想爬取的数据大了就不够用了... 果断撸起袖子自己动手!先简单说一下我的思路: 一. ...
博约新媒体大数据中心_聚焦媒体深度融合与大数据想成主流数据中心不可少...
原标题:想成为主流?数据中心不可少! 资料图片 "深度融合与大数据"是加快推进媒体融合的有效手段和发展方向.日前,在由传媒杂志社和贵州日报报业集团主办的第十二届中国传媒年会上,来自 ...
python怎么爬取新浪微博数据中心_如何用python爬取nba数据中心的数据
#coding=utf-8 import sys reload(sys) sys.setdefaultencoding('utf-8') import requests import time imp ...
数据中心“泡澡”散热，阿里云启用全球最大液冷数据中心支撑双11
每年双11火热的不止是购物车,还有阿里巴巴的数据中心.今年双11,阿里工程师们大规模采用了一项黑科技--给数据中心的服务器"泡澡"散热,来给火热的数据中心降温. 11月3日,在阿里 ...
数据中心节能环保政策汇总分析：2022年新建大型数据中心PUE需达到1.4以下
随着数据中心的建设在全国逐年开展起来,我国对数据中心的建设提出了节能环保的要求与规划,在<关于加强绿色数据中心建设的指导意见>中明确提出到2022年,我国数据中心平均能耗基本达到国际先进水 ...
【2018亚太数据中心峰会】李典林：节能增效，提升数据中心产出率
在过去的2017年,亚太地区的数据中心市场增速接近15%,领先于全球其他主要地区,与整体经济增长水平保持同步.区域内多元化的经济体发展特征使各国数据中心市场形成了鲜明的差异,以香港.新加坡为代表的成熟 ...
python抓取微博数据中心_空气质量数据网页爬虫加数据处理
Python这门语言因其简单强大已经火了很久了,但我接触的比较晚,前几个月因为一篇博客开始初步了解这门语言,并且之后模仿某位北邮的前辈的微博写了一个新浪微博的爬虫这里给出链接:python编写的新浪 ...
python怎么爬取新浪微博数据中心_基于Python的新浪微博位置数据获取方法研究....
[1] 新浪微博数据中心.2017微博用户发展报告[EB/OL].[2017-12-25]. http://data.weibo.com/report/reportDetail?id=404. [2] ...

python爬微博数据中心_怎样用python爬新浪微博大V所有数据？

python爬微博数据中心_怎样用python爬新浪微博大V所有数据？相关推荐

最新文章

热门文章