python爬取加密qq空间_python+selenium+requests爬取qq空间相册时遇到的问题及解决思路...

最近研究了下用python爬取qq空间相册的问题，遇到的问题及解决思路如下：

1、qq空间相册的访问需要qq登录并且需是好友，requests模块模拟qq登录略显麻烦，所以采用selenium的driver登录，登录成功之后获取其cookie即可，代码如下

from selenium import webdriver

import requests

driver = webdriver.Chrome()

url = 'https://user.qzone.qq.com/'

driver.get(url)

# 在driver中操作完登录之后，在程序中回车继续

input("继续?")

cookies = driver.get_cookies() #这里就获取了浏览器中的cookies

2、获取cookies之后，用request模块进行操作，并将cookies赋给它

s = requests.session()

#对driver获取的cookies进行处理，提取出我们想要的部分

cookies_ = {}

for cookie in cookies:

if cookie['name'] == 'p_skey':

skey = cookie['value']

cookies_[cookie['name']] = cookie['value']

# 将cookies_添加到s.cookies 里

requests.utils.add_dict_to_cookiejar(s.cookies, cookies_)

3、此时通过s.get(url)，就可以访问到自己登录后才能看见的网址或图片源了

类似登录后才能进行操作的问题都可以用上述思路进行解决，只不过需要经过手动确认的“半自动”状态，不过之后交给requests，还是能大大提高我们的工作效率

本篇博文参考了大神的博客文章https://www.zh30.com/python-selenium-qqzone-album.html，十分感谢！

python爬取加密qq空间_python+selenium+requests爬取qq空间相册时遇到的问题及解决思路...相关推荐

python爬取好友qq空间_python + selenium +chrome爬取qq空间好友说说并存入mongodb数据库...
title: python + selenium +chrome爬取qq空间好友说说并存入mongodb数据库准备阶段在正式开始在前需要先准备好做爬虫的工具,本例使用chrome无头浏览器进行爬取 ...
【Python网络爬虫实战篇】使用selenium+requests爬取下载高清源视频：关于爬取m3u8文件链接解析为ts视频合并成mp4视频的分析实战
这两天博主在摸鱼时,偶然间接触到了流媒体的概念,一时间来了兴致.再加上之前博主有着七.八年的视频制作经验,深知视频素材获取的不易.因此,打算利用自己所学的python网络爬虫的知识,通过编写代码实现获 ...
python selenium爬虫豆瓣_使用selenium+requests爬取豆瓣小组讨论列表
获取本文代码 · 我的GitHub 注:这个项目的代码会在我的GitHub持续优化.更新,而在本文中的代码则是最初版本的代码. 豆瓣小组豆瓣有一个"小组"模块,有一些小组中会发布 ...
python爬取链家新房_Python爬虫项目--爬取链家热门城市新房
本次实战是利用爬虫爬取链家的新房(声明: 内容仅用于学习交流, 请勿用作商业用途) 环境 win8, python 3.7, pycharm 正文 1. 目标网站分析通过分析, 找出相关url, 确 ...
python爬去百度百科词条_python简单爬虫爬取百度百科python词条网页
目标分析: 目标:百度百科python词条相关词条网页 - 标题和简介入口页:https://baike.baidu.com/item/Python/407313 URL格式: - 词条页面URL: ...
python获取网页json返回空_Python用requests库爬取返回为空的解决办法
首先介紹一下我們用360搜索派取城市排名前20. 我们爬取的网址:https://baike.so.com/doc/24368318-25185095.html 我们要爬取的内容: html字段: r ...
python解压加密zip文件_Python：解压缩前检测一个zip文件否为加密，两种算法。
前一篇文章介绍了如何用python自动解压缩加密的zip文件, 但是有一个问题,在服务器端脚本在解加密zip文件之前,需要检测其是否是加密文件,若是,则询问密码,结合密码解压缩:如果不是,则则直接解压 ...
python爬虫抓取动态网页数据_python网络爬虫抓取ajax动态网页数据：以抓取KFC门店地址为例...
一,尝试用BeautifulSoup抓取先打开KFC网站门店列表页面:http://www.kfc.com.cn/kfccda/storelist/index.aspx 可以看到门店列表如下图: 打 ...
python发送qq邮件_python基于SMTP发送邮件（qq邮箱）
在Python中, smtplib模块提供了丰富的邮件发送接口,只要设置smtp服务器和端口,输入账号密码登陆,就可以使用邮件发送的接口. 第一步:开启SMTP服务 (1)点击"开启&quo ...
python爬取qq邮箱_python+selenium自动登录QQ邮箱
环境:win10x64+python3.5+chrome+chromedriver 需要安装的模块: 1.chromedriver 下载地址,下载后加入系统环境变量即可. 2.selenium# pi ...

python爬取加密qq空间_python+selenium+requests爬取qq空间相册时遇到的问题及解决思路...

python爬取加密qq空间_python+selenium+requests爬取qq空间相册时遇到的问题及解决思路...相关推荐

最新文章

热门文章