本帖最后由 杀猪用牛刀 于 2020-4-2 23:59 编辑

首先我是一个python爬虫的新手，模拟登录也是我看b站模拟登录教学加自己琢磨完成的，其中很多分析很粗糙，还希望大家多多包涵:lol

话不多说，直接进入正题

微博是重要的信息平台，也是大家爬虫垂涎欲滴的一个去处。但是网页微博如果不登录账号，只让你看一页的内容，只要登录的账号才能放飞自我，爬取福利姬的内容{:1_918:} 。

比如看到一个美女的微博，美图很多，想爬取下来。

1.png (340.77 KB, 下载次数: 2)

小姐姐

2020-4-2 20:28 上传

但是当你看得兴致勃勃，想翻到下一页时

2.png (30.77 KB, 下载次数: 2)

2020-4-2 20:29 上传

微博强行要求你登录。真是太可恶了，必须有python给他登录安排上！

模拟登录第一步，分析登录需要的参数

我们在浏览器登录的时候，虽然只输入账号密码，有时候还要输入验证码。但是其实其中还有很多参数需要提交到服务器，这些都是浏览器帮你做了。

但我们在利用python进行模拟登录的时候，如果只提交账号密码，肯定就被服务器认出来，直接把你拒绝。(毕竟大部分服务器是讨厌爬虫的)

因此，我们需要找到登录微博的时候需要提交那些数据。

抓包

要分析肯定要抓包的拉，我这里用的工具是 fiddler4 。因为其实是第一次用fiddler，不是很熟悉，因此抓了一大堆。但好在是通过“login”这个关键词，将这些包找到。

3.png (194.39 KB, 下载次数: 2)

2020-4-2 20:44 上传

4.png (300.45 KB, 下载次数: 2)

2020-4-2 20:45 上传

我只是截取了一部分，其实我fiddler的页面抓了一大堆，然后看得眼睛都要瞎了。

后面在看URL 的英文，发现有两个链接是登录的关键。

关键链接1：https://login.sina.com.cn/sso/login.php?client=ssologin.js(v1.4.19)    #这个链接有明确表示是作为登录作用的

关键链接2：https://login.sina.com.cn/sso/prelogin.php?entry=weibo&callback=sinaSSOController.preloginCallBack&su=&rsakt=mod&client=ssologin.js(v1.4.19)&_=1585637065176  #这个链接的prelogin表示预登录

第二个关键链接可要我老命了，老是抓不到，后面才发现要清除缓存才行，不然微博服务器不会再发送这个东西过来{:1_924:}

然后看一下表单内容，看看登录要上传啥信息上去

表单1.png (46.84 KB, 下载次数: 2)

关键链接1的表单内容

2020-4-2 21:02 上传

表单二.png (30.57 KB, 下载次数: 1)

关键链接2的关键内容

2020-4-2 21:02 上传

一堆不知道啥意思的东西，又臭又长。

于是我换两个不同账号上去登录，看看哪些参数是会变化的，那些是不变化的。

将会变的参数定点击破！！

经过我的n次尝试，发现表单二的“su”, "_" 是变化的。 表单一的 "su"，"servertime"，"nonce"，"rsakv"，"sp"是变化的。

但这些变量是啥意思呢？

我发现包中还有一个js文件，且名字也是 ssologin.js，这部就是 关键链接1 中提到的js文件吗？

解密变量的钥匙一定在这里面

赶紧打开看看

js.png (86.22 KB, 下载次数: 3)

js文件

2020-4-2 21:13 上传

好家伙，有两千多行，看这些变量明显是登录作用的，直接搜索关键词，看看这些变量到底是什么东西。

首先搜索 “su”，看看你是个什么东西

经过一顿搜索，终于找到：

su.png (18.36 KB, 下载次数: 2)

2020-4-2 21:17 上传

原来是用base64 加密的 用户名啊，拿下！

然后是“_”

时间戳.png (24.31 KB, 下载次数: 2)

2020-4-2 22:40 上传

原来是时间戳，看表单是十三位的时间戳，到时候让python时间戳乘以1000就可以了。

这样预登录需要提交的表单内容就全部搞清楚了，于是将其post到服务器上面，得到如下结果：

预处理.png (44.63 KB, 下载次数: 2)

2020-4-2 22:46 上传

其中红色括号是我们需要的东西，用正则表达式提取就OK了。那个 InsecureRequestWarning 可以不管，反正程序可以正常运行就行。

但是，这些内容并不能直接提交，因为提交过程中js还对这些表单的某些变量进行了一些处理

先看图

servertime.png (29.14 KB, 下载次数: 1)

2020-4-2 22:57 上传

这里可以看到，微博对公钥 和 密码 都进行了rsa的处理。

也就是我们在提交的时候，也要将公钥和密码按其格式加密。

于是终于获取到登录表单所需要的所有变量。

但看抓包的登录页面，好像还是不行，说要什么新浪通行证。

通行证.png (200.46 KB, 下载次数: 2)

2020-4-2 23:10 上传

也就是箭头所指向的内容，看来还得找这个通行证。这里面有个关键线索是“ticket”

这样我继续在fiddler中寻找，找到一个也有ticket的URL：https://passport.weibo.com/wbsso/login?ticket=ST-NjA0MDcwNjc3OA%3D%3D-1585637069-gz-31D972B7B5D5D4D278336F717F7ED6E1-1&ssosavestate=1617173069&callback=sinaSSOController.doCrossDomainCallBack&scriptId=ssoscript0&client=ssologin.js(v1.4.19)&_=1585637070397

ticket.png (41.41 KB, 下载次数: 2)

2020-4-2 23:15 上传

这里 ssosavestate 变量不知道，老规矩继续js文件中看看。

savestate.png (21.28 KB, 下载次数: 2)

2020-4-2 23:20 上传

可以看到ssosavestate 就是一个时间戳加了一个叫 tmpData 的东西，这东西是啥，只能在js中找答案。

s1.png (3.84 KB, 下载次数: 2)

2020-4-2 23:24 上传

s2.png (22.59 KB, 下载次数: 2)

2020-4-2 23:24 上传

最后发现tmpData不管怎么样都是0， 也就是ssosavestate 本质上就是时间戳。。。。

微博搞这个幺蛾子也不知到想干嘛。。。想给分析爬虫增加难度吗？:(eew

于是经过重重阻碍，终于得到所有登录需要的表单参数，于是提交参数，赶紧确认一下能否登录成功。

确认的方法是这样，如果是未登录状态，html的 title是这样的：

微博未登录.png (25.83 KB, 下载次数: 2)

2020-4-2 23:40 上传

显示的是 “微博-随时随地发现新鲜事”字样。

而登录成功则是显示 ：我的首页 微博-随时随地发现新鲜事。

运行代码看看：

登录成功.png (13.31 KB, 下载次数: 2)

2020-4-2 23:43 上传

成功登录！！！

最后

这个方法虽然登录是成功，但是可能因为验证码问题，所以提交五六次表单，基本就成功个一次。。

后面还得好好研究学习。。。