python爬微博数据合法吗_Python 免登录微博数据爬虫(仅研究使用)

微博数据是非常有价值的数据，这些数据可以用作我们进行一些系统开发时的数据源，比如前段时间发过的：Python 短文本识别个体是否有自杀倾向，在此文中，我们使用微博绝望树洞的数据，利用SVM做了一个简单的自杀倾向识别模型。

当然，微博数据的应用还不仅如此，如果你大胆详细，大胆猜测，将会有许多可以利用这些数据进行研究的机会。不过，技术是把双刃剑，有好有坏，我不希望各位拿着这个爬虫去做一些违反道德、法律的事情，应用于好的事务，才是技术诞生的初衷。

本文讲的是以用户为单位的爬虫，如果你希望能够定制自己需要的爬虫，请看这篇教程：Python 爬取微博树洞详细教程

1.准备

其实免登录的原理很简单，就是通过手机版的微博绕过其登录验证，大家可以用手机网页打开这个网址，你会发现其实大部分微博在你不登录的情况下都是可见的：

https://m.weibo.cn/u/2075686772

可见即可爬。因此，我们只需要调用这个微博数据的json接口即可获取到数据。不过我们不要一上来就直接撸代码，要善于利用Python开源社区的特点，上网上找相关的现成的成熟轮子，而不是自己动手做一个半成熟版，这样能节省许多时间。

其代码思路与我想的差不多，只需要调用json的数据接口即可获取数据：

下载该开源项目，可以上该网页直接Download, 也可以使用git:

如果你两个都不会，没关系，Python实用宝典后台回复微博采集工具即可下载。

2.配置采集参数

在开始采集数据前，你需要确保电脑上已经安装了Python，如果没有，请访问这篇文章：超详细Python安装指南进行安装。

安装完Python后，Windows环境下打开Cmd(开始—运行—CMD)，苹果系统环境下请打开Terminal(command+空格输入Terminal).

进入我们刚下载好的文件夹，输入以下命令安装所需要的模块:

pip install -r requirements.txt

看到许多个 Successfully installed xxx 则说明安装成功。

2.1 找到你需要爬的用户ID

点开你希望爬取的用户主页，然后查看此时的url，你会发现有一串数字在链接中，这个就是我们要用到的userID, 复制即可。

如果不是一串数字，可以点开任一条微博评论的页面，这时候上面的链接一定会有串数字，如果还是没有，就上手机版的微博页面找，这种时候就需要耐心和多尝试了。

2.2 修改config.json

获得用户的userID后，需要将ID写入到config.json的user_id_list数组中，如图所示：

其他参数如：

filter：控制爬取范围，值为1代表爬取全部原创微博，值为0代表爬取全部微博（原创+转发）

since_date: 爬取该日期之后的时间

write_mode: 写入的文件格式

下面的分别是：是否下载原创微博图片、是否下载转发微博图片、是否下载原创视频、是否下载转发的视频，如果为1则是，为0则为否。再往后如果你需要写入数据库，还可以配置MySQL或MongoDB的连接参数。

3.开始采集

配置好了以后，采集就很简单了，你只需要用CMD或Terminal进入该文件夹，输入：

python weibo.py

即可进行数据采集。采集结束后，如果你设定的是保存为csv文件，则会在当前文件夹下的weibo文件夹里产生一个名为该微博用户名的数字.csv文件，如：

weibo\阿森纳足球俱乐部\2075686772.csv

这个文件里就是你想要的数据。

该开源模块设计的功能其实非常完善，你看看下面这个列表就知道了。

真的太贴心辣，必须得感谢这位开源作者，如果你喜欢的话，记得上去他的仓库给他点个star哦！

我们的文章到此就结束啦，如果你希望我们今天的Python 教程，请持续关注我们，如果对你有帮助，麻烦在下面点一个赞/在看哦。本文来源于Python实用宝典：Python 免登录微博数据爬虫(仅研究使用)pythondict.com

有任何问题都可以在下方留言区留言，我们都会耐心解答的！

Python实用宝典 (pythondict.com)

不只是一个宝典

欢迎关注公众号：Python实用宝典

python爬微博数据合法吗_Python 免登录微博数据爬虫(仅研究使用)相关推荐

python爬微信公众号视频_python爬虫公众号所有信息，并批量下载公众号视频
之前写过一篇类似的文章:python爬取公众号,用最简单的方式爬虫还有同学一直在问,可能中间有一些小细节不明确,这次彻底明确一下细节. 本篇添加一个批量下载公众号内视频的功能,可以实现完全复制一个公 ...
Python爬取《权力的游戏第八季》演员数据并分析
Python爬取<权力的游戏第八季>演员数据并分析数据爬取一.浏览待爬取网页二.爬取百度百科中<权力的游戏第八季度>演员表获得每个演员的链接并保存入文件三.爬取演员详细 ...
python爬取b站评论_python高效之爬了B站再爬微博
全文简介本文是用Python爬取微博移动端的数据.可以看一下Robots协议.另外尽量不要爬取太快.如果你毫无节制的去爬取别人数据,别人网站当然会反爬越来越严厉.所以,不要难为别人,到最后其实是在难 ...
python爬取json简单吗_Python爬取Json数据的示例
Python教程栏目介绍爬取Json数据实例相关免费学习推荐:python教程(视频) 本文中以爬取其中的AI流转率数据为例. 该地址返回的响应内容为Json类型,其中红框标记的项即为AI流转率值: ...
python爬取新闻存入数据库_Python爬取数据并写入MySQL数据库的实例
按 F12 或 ctrl+u 审查元素,结果如下: 结构很清晰简单,我们就是要爬 tr 标签里面的 style 和 tr 下几个并列的 td 标签,下面是爬取的代码: #!/usr/bin/env p ...
python爬取17000个球员_Python爬取NBA球员生涯数据及简单可视化
由于全球疫情的原因 NBA宣布无限期推迟比赛也被迫随之进入了长草期紧接着狂摸话筒戈贝尔连坐队友米切尔网络小帅杜兰特绿军硬汉斯马特等十名球员相继官宣感染洛杉矶湖人两人感染但未公布名单 ...
python爬取虎扑评论_Python爬取NBA虎扑球员数据
虎扑是一个认真而有趣的社区,每天有众多JRs在虎扑分享自己对篮球.足球.游戏电竞.运动装备.影视.汽车.数码.情感等一切人和事的见解,热闹.真实.有温度. 受害者地址 https://nba.hupu ...
python爬去百度文库资料_Python在线百度文库爬虫(免下载券)
百度文库,文字类型的资源(如txt, doc, pdf),是可以在前端源码分析获取到的,如果能按照规则合理的提取这些文字资源,就可以实现免下载券获取资源. 作者完成了百度文库的在线版爬虫,只需提供文库 ...
python爬取历史天气查询_Python爬取南京历史天气数据（2345天气网）
最近学习了如何在2345天气网上爬取历史天气数据,并使用pandas库对数据进行清洗和导出.不过,本文方法对其它网站并不一定适用,主要是记录一种思考的方式. 南京的历史天气数据在这个网站上:http: ...

python爬微博数据合法吗_Python 免登录微博数据爬虫(仅研究使用)

python爬微博数据合法吗_Python 免登录微博数据爬虫(仅研究使用)相关推荐

最新文章

热门文章