python怎么爬取新浪微博数据_新浪微博爬虫,用python爬取新浪微博数据
Weibo Spider
本程序可以连续爬取一个或多个新浪微博用户(如胡歌、迪丽热巴、郭碧婷)的数据,并将结果信息写入文件或数据库。写入信息几乎包括用户微博的所有数据,包括用户信息和微博信息两大类。因为内容太多,这里不再赘述,详细内容见获取到的字段。如果只需要用户信息,可以通过设置实现只爬取微博用户信息的功能。本程序需设置cookie来获取微博访问权限,后面会讲解如何获取cookie。如果不想设置cookie,可以使用免cookie版,二者功能类似。
具体的写入文件类型如下:
写入txt文件(默认)
写入csv文件(默认)
写入json文件(可选)
写入MySQL数据库(可选)
写入MongoDB数据库(可选)
下载用户原创微博中的原始图片(可选)
下载用户转发微博中的原始图片(免cookie版特有)
下载用户原创微博中的视频(可选)
下载用户转发微博中的视频(免cookie版特有)
下载用户原创微博Live Photo中的视频(免cookie版特有)
下载用户转发微博Live Photo中的视频(免cookie版特有)
内容列表
获取到的字段
本部分为爬取到的字段信息说明,为了与免cookie版区分,下面将两者爬取到的信息都列出来。如果是免cookie版所特有的信息,会有免cookie标注,没有标注的为二者共有的信息。
用户信息
用户id:微博用户id,如"1669879400",其实这个字段本来就是已知字段
昵称:用户昵称,如"Dear-迪丽热巴"
性别:微博用户性别
生日:用户出生日期
所在地:用户所在地
学习经历:用户上学时学校的名字和时间
工作经历:用户所属公司名字和时间
阳光信用(免cookie版):用户的阳光信用
微博注册时间(免cookie版):用户微博注册日期
微博数:用户的全部微博数(转发微博+原创微博)
关注数:用户关注的微博数量
粉丝数:用户的粉丝数
简介:用户简介
主页地址(免cookie版):微博移动版主页url
头像url(免cookie版):用户头像url
高清头像url(免cookie版):用户高清头像url
微博等级(免cookie版):用户微博等级
会员等级(免cookie版):微博会员用户等级,普通用户该等级为0
是否认证(免cookie版):用户是否认证,为布尔类型
认证类型(免cookie版):用户认证类型,如个人认证、企业认证、政府认证等
认证信息:为认证用户特有,用户信息栏显示的认证信息
微博信息
微博id:微博唯一标志
微博内容:微博正文
头条文章url:微博中头条文章的url,若微博中不存在头条文章,则值为''
原始图片url:原创微博图片和转发微博转发理由中图片的url,若某条微博存在多张图片,每个url以英文逗号分隔,若没有图片则值为"无"
视频url: 微博中的视频url,若微博中没有视频,则值为"无"
微博发布位置:位置微博中的发布位置
微博发布时间:微博发布时的时间,精确到分
点赞数:微博被赞的数量
转发数:微博被转发的数量
评论数:微博被评论的数量
微博发布工具:微博的发布工具,如iPhone客户端、HUAWEI Mate 20 Pro等
结果文件:保存在当前目录weibo文件夹下以用户昵称为名的文件夹里,名字为"user_id.csv"和"user_id.txt"的形式
微博图片:原创微博中的图片和转发微博转发理由中的图片,保存在以用户昵称为名的文件夹下的img文件夹里
微博视频:原创微博中的视频,保存在以用户昵称为名的文件夹下的video文件夹里
微博bid(免cookie版):为免cookie版所特有,与本程序中的微博id是同一个值
话题(免cookie版):微博话题,即两个#中的内容,若存在多个话题,每个url以英文逗号分隔,若没有则值为''
@用户(免cookie版):微博@的用户,若存在多个@用户,每个url以英文逗号分隔,若没有则值为''
原始微博(免cookie版):为转发微博所特有,是转发微博中那条被转发的微博,存储为字典形式,包含了上述微博信息中的所有内容,如微博id、微博内容等等
示例
如果想要知道程序的具体运行结果,可以查看示例文档,该文档介绍了爬取迪丽热巴微博的例子,并附有部分结果文件截图。
运行环境
开发语言:python2/python3
系统: Windows/Linux/macOS
使用说明
0.版本
本程序有两个版本,你现在看到的是python3版,另一个是python2版,python2版位于python2分支。目前主力开发python3版,包括新功能开发和bug修复;python2版仅支持bug修复。推荐python3用户使用当前版本,推荐python2用户使用python2版,本使用说明是python3版的使用说明。
1.安装程序
本程序提供两种安装方式,一种是源码安装,另一种是pip安装,二者功能完全相同。如果你需要修改源码,建议使用第一种方式,否则选哪种安装方式都可以。
源码安装
$ git clone https://github.com/dataabc/weiboSpider.git
$ cd weiboSpider
$ pip install -r requirements.txt
pip安装
$ python3 -m pip install weibo-spider
2.程序设置
要了解程序设置,请查看程序设置文档。
3.运行程序
源码安装的用户可以在weiboSpider目录运行如下命令,pip安装的用户可以在任意有写权限的目录运行如下命令
$ python3 -m weibo_spider
第一次执行,会自动在当前目录创建config.json配置文件,配置好后执行同样的命令就可以获取微博了。如果你已经有config.json文件了,也可以通过config_path参数配置config.json路径,运行程序,命令行如下:
$ python3 -m weibo_spider --config_path="config.json"
个性化定制程序(可选)
本部分为可选部分,如果不需要个性化定制程序或添加新功能,可以忽略此部分。
本程序主体代码位于weibo_spider.py文件,程序主体是一个 Spider 类,上述所有功能都是通过在main函数调用 Spider 类实现的,默认的调用代码如下:
config = get_config()
wb = Spider(config)
wb.start() # 爬取微博信息
用户可以按照自己的需求调用或修改 Spider 类。通过执行本程序,我们可以得到很多信息。
点击查看详情
wb.user['nickname']:用户昵称;
wb.user['gender']:用户性别;
wb.user['location']:用户所在地;
wb.user['birthday']:用户出生日期;
wb.user['description']:用户简介;
wb.user['verified_reason']:用户认证;
wb.user['talent']:用户标签;
wb.user['education']:用户学习经历;
wb.user['work']:用户工作经历;
wb.user['weibo_num']:微博数;
wb.user['following']:关注数;
wb.user['followers']:粉丝数;
wb.weibo:除不包含上述信息外,wb.weibo包含爬取到的所有微博信息,如微博id、微博正文、原始图片url、发布位置、发布时间、发布工具、点赞数、转发数、评论数等。如果爬的是全部微博(原创+转发),除上述信息之外,还包含被转发微博原始图片url、是否为原创微博等。wb.weibo是一个列表,包含了爬取的所有微博信息。wb.weibo[0]为爬取的第一条微博,wb.weibo[1]为爬取的第二条微博,以此类推。当filter=1时,wb.weibo[0]为爬取的第一条原创微博,以此类推。wb.weibo[0]['id']为第一条微博的id,wb.weibo[0]['content']为第一条微博的正文,wb.weibo[0]['publish_time']为第一条微博的发布时间,还有其它很多信息不在赘述,大家可以点击下面的"详情"查看具体用法。
详情
若目标微博用户存在微博,则:
id:存储微博id。如wb.weibo[0]['id']为最新一条微博的id;
content:存储微博正文。如wb.weibo[0]['content']为最新一条微博的正文;
article_url:存储微博中头条文章的url。如wb.weibo[0]['article_url']为最新一条微博的头条文章url,若微博中不存在头条文章,则值为'';
original_pictures:存储原创微博的原始图片url和转发微博转发理由中的图片url。如wb.weibo[0]['original_pictures']为最新一条微博的原始图片url,若该条微博有多张图片,则存储多个url,以英文逗号分割;若该微博没有图片,则值为"无";
retweet_pictures:存储被转发微博中的原始图片url。当最新微博为原创微博或者为没有图片的转发微博时,则值为"无",否则为被转发微博的图片url。若有多张图片,则存储多个url,以英文逗号分割;
publish_place:存储微博的发布位置。如wb.weibo[0]['publish_place']为最新一条微博的发布位置,如果该条微博没有位置信息,则值为"无";
publish_time:存储微博的发布时间。如wb.weibo[0]['publish_time']为最新一条微博的发布时间;
up_num:存储微博获得的点赞数。如wb.weibo[0]['up_num']为最新一条微博获得的点赞数;
retweet_num:存储微博获得的转发数。如wb.weibo[0]['retweet_num']为最新一条微博获得的转发数;
comment_num:存储微博获得的评论数。如wb.weibo[0]['comment_num']为最新一条微博获得的评论数;
publish_tool:存储微博的发布工具。如wb.weibo[0]['publish_tool']为最新一条微博的发布工具。
定期自动爬取微博(可选)
要想让程序每个一段时间自动爬取,且爬取的内容为新增加的内容(不包括已经获取的微博),请查看定期自动爬取微博。
如何获取cookie
要了解获取cookie方法,请查看cookie文档。
如何获取user_id
要了解获取user_id方法,请查看user_id文档,该文档介绍了如何获取一个及多个微博用户user_id的方法。
常见问题
如果运行程序的过程中出现错误,可以查看常见问题页面,里面包含了最常见的问题及解决方法。如果出现的错误不在常见问题里,您可以通过发issue寻求帮助,我们会很乐意为您解答。
相关项目
weibo-crawler - 功能和本项目完全一样,可以不添加cookie,获取的微博属性更多;
weibo-search - 可以连续获取一个或多个微博关键词搜索结果,并将结果写入文件(可选)、数据库(可选)等。所谓微博关键词搜索即:搜索正文中包含指定关键词的微博,可以指定搜索的时间范围。对于非常热门的关键词,一天的时间范围,可以获得1000万以上的搜索结果,N天的时间范围就可以获得1000万 X N搜索结果。对于大多数关键词,一天产生的相应微博数量应该在1000万条以下,因此可以说该程序可以获得大部分关键词的全部或近似全部的搜索结果。而且该程序可以获得搜索结果的所有信息,本程序获得的微博信息该程序都能获得。
注意事项
1.user_id不能为爬虫微博的user_id。因为要爬微博信息,必须先登录到某个微博账号,此账号我们姑且称为爬虫微博。爬虫微博访问自己的页面和访问其他用户的页面,得到的网页格式不同,所以无法爬取自己的微博信息;如果想要爬取爬虫微博内容,可以参考获取自身微博信息;
2.cookie有期限限制,大约三个月。若提示cookie错误或已过期,需要重新更新cookie。
python怎么爬取新浪微博数据_新浪微博爬虫,用python爬取新浪微博数据相关推荐
- python爬取携程网游记_网页爬虫 - 用python selenium抓取携程信息
问 题 最近在学习selenium,遇到一个很奇怪的问题,debug了半天还是没弄明白,我是在测试抓取携程网站的机票信息 我的代码: # -*- coding: utf-8 -*- from sele ...
- python爬取网店数据_如何爬虫天猫店铺数据python
展开全部 本编博客是关于爬取天猫店铺中指定店铺的所有商品基础信息的爬虫,爬虫运行只需要输入相应店32313133353236313431303231363533e78988e69d8331333365 ...
- python如何爬虫股票数据_简单爬虫:东方财富网股票数据爬取(python_017)
需求:将东方财富网行情中心的股票数据爬取下来,包括上证指数.深圳指数.上证A股.深圳A股.新股.中小板.创业板 等 一.目标站点分析 东方财富网的行情中心页面包含了所有股票信息.在左侧的菜单栏中包含了 ...
- python爬取资料怎么样_手把手教你Python爬取新房数据
原标题:手把手教你Python爬取新房数据 项目背景 新房数据,对于房地产置业者来说是买房的重要参考依据,对于房地产开发商来说,也是分析竞争对手项目的绝佳途径,对于房地产代理来说,是踩盘前的重要准备. ...
- python爬取大众点评数据_利用Node.js制作爬取大众点评的爬虫
前言 Node.js天生支持并发,但是对于习惯了顺序编程的人,一开始会对Node.js不适应,比如,变量作用域是函数块式的(与C.Java不一样):for循环体({})内引用i的值实际上是循环结束之后 ...
- python爬取拼多多爆款数据_利用风变Python快速爬取海量数据,写出10万+爆文
我是从事自媒体内容创作者,每天都用心创作,保证文章质量,然后希望能出爆文,但似乎事情没有那么简单--自己认为可以的内容和标题但推送出去后,展示量和阅读量都低得可怜,心想,每次都这么用心,但结果却这样, ...
- python爬虫网络数据包_Python爬虫之多线程图虫网数据爬取(十六)
Python爬虫之多线程图虫网数据爬取(十六) 发布时间:2019-05-14 10:11, 浏览次数:289 , 标签: Python 原创不易,转载前请注明博主的链接地址:Blessy_Zhu h ...
- java使用xml存储数据_『爬虫四步走』手把手教你使用Python抓取并存储网页数据!
菜鸟学Python 以下文章来源于早起Python ,作者刘早起 爬虫是Python的一个重要的应用,使用Python爬虫我们可以轻松的从互联网中抓取我们想要的数据,本文将基于爬取B站视频热搜榜单数据 ...
- java使用xml存储数据_「爬虫四步走」手把手教你使用Python抓取并存储网页数据
爬虫是Python的一个重要的应用,使用Python爬虫我们可以轻松的从互联网中抓取我们想要的数据,本文将基于爬取B站视频热搜榜单数据并存储为例,详细介绍Python爬虫的基本流程.如果你还在入门爬虫 ...
- python抓取pc端数据_「爬虫四步走」手把手教你使用Python抓取并存储网页数据!...
爬虫是Python的一个重要的应用,使用Python爬虫我们可以轻松的从互联网中抓取我们想要的数据,本文将基于爬取B站视频热搜榜单数据并存储为例,详细介绍Python爬虫的基本流程.如果你还在入门爬虫 ...
最新文章
- mysql 面试知识点笔记(二)查询优化及索引越多越好吗?
- 中心线超出轮廓线多少_激光切割的这些基础知识,你知道多少?
- 怎么隐藏桌面计算机名,Win7隐藏桌面所有图标
- 知识点 组合数学 卡特兰数
- SurfaceGo使用体验(使用半年后)
- 这十大挑战,摆在DL面前:马库斯长文质疑深度学习
- linux下获取主机信息
- 阶段1 语言基础+高级_1-3-Java语言高级_08-JDK8新特性_第3节 两种获取Stream流的方式_7_Stream流中的常用方法_limit...
- 05 - 雷达的发展与应用
- 第一次使用码云上传本地项目
- 几种平均数的物理意义应用场景
- 力扣437(前缀和解法)
- Java就业知识点大全
- Android仿射密码破译app
- 深度包检测(DPI)的记录
- Codeforces 272C Dima and Staircase 思维 or 线段树
- telnet出现端口23连接失败解决办法
- 千万流量秒杀系统-过载保护:如何通过熔断和限流解决流量过载问题?
- 用蚁群算法求解TSP问题
- android手机备份恢复出厂设置密码,手机恢复出厂设置 如何让安卓手机恢复出厂设置经验分享...
热门文章
- 奥维 html api,【教程】在奥维中,个人如何申请天地图API秘钥(手机端操作)
- python简单爬虫获取行政边界点坐标
- 根据边界坐标提取边界内部数据点坐标
- python散点图获取边界_获取离散点的边界点
- 数字图像处理第一次试验:图像的基本操作和基本统计指标计算
- CMDN创新应用推荐:搜狗号码通
- houdini pyro
- WIN7操作系统IE11的离线安装(有时间总结下)
- 关于未来IOT和移动APP集成的五个预言
- python数据分析基础阮敬源码_python数据分析基础 阮敬pdf|保靖制作项目投资实施细则...