Pyton爬虫实现豆瓣登陆

目标：实现豆瓣登陆；
方法：使用requests.Session 来处理cookies
问题：验证码输入

关于headers

1.实现登陆

# -*- coding: utf-8 -*-
import requests
from HTMLParser import HTMLParser
class DoubanClient(object):def __init__(self):object.__init__(self)#在chrome浏览器进行登陆，登陆之后：右键 检查-Newwork-login-Headers,可以查看headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.75 Safari/537.36','Origin': 'https://accounts.douban.com'}self.session = requests.session()  # 创建一个sessionself.session.headers.update(headers)  # 对头进行定制def login(self, usename, pwd, source='index_nav', redir='https://www.douban.com', user_login='登陆'):#下面的地址可能有变化，根据实际进行更改url = 'https://accounts.douban.com/login'  # 访问登陆的主页面，为了获取验证码id和验证码图片地址r = self.session.get(url)(captcha_id, captcha_url) = _get_captcha(r.content)  # 解析网页内容，从这个函数中获取验证码if captcha_id:captcha_solution = raw_input('Please input solution for captcha[%s]:' % captcha_url)  # 用户输入验证data = {'source': source,'form_email': usename,'form_password': pwd,'redir': redir,  # 跳转地址'user_login': user_login,}if captcha_id:data['captcha-id'] = captcha_iddata['captcha-solution'] = captcha_solutionheaders = {'Referer': 'https://accounts.douban.com/login','Host': 'accounts.douban.com'}self.session.post(url, data=data, headers=headers)print(self.session.cookies.items())#下面这个函数用在解析html文件中，tag匹配
def _attr(attrs, attrname):for attr in attrs:if attr[0] == attrname:return attr[1]return attr[0]
def _get_captcha(content):class CaptchaParser(HTMLParser):def __init__(self):HTMLParser.__init__(self)self.captcha_id = Noneself.captcha_url = Nonedef handle_starttag(self, tag, attrs):if tag == 'img' and _attr(attrs, 'id') == 'captcha_image' and _attr(attrs, 'class') == 'captcha_image':self.captcha_url = _attr(attrs, 'src')  # 如果是url = srcif tag == 'input' and _attr(attrs, 'type') == 'hidden' and _attr(attrs, 'name') == 'captcha-id':self.captcha_id = _attr(attrs, 'value')p = CaptchaParser()p.feed(content)return p.captcha_id, p.captcha_url
def _get_ck(content):class CKParser(HTMLParser):def __init__(self):HTMLParser.__init__(self)self.ck = Nonedef handle_starttag(self, tag, attrs):if tag == 'input' and _attr(attrs, 'type') == 'hidden' and _attr(attrs, 'name') == 'ck':self.ck = _attr(attrs, 'value')p = CKParser()p.feed(content)return p.ck
c = DoubanClient()
c.login('wangdachui@163.com', 'dashab123')

注：其中登陆的地址可能发生改变，另外注意大小写，一切需要根据看到的headers

Pyton爬虫实现豆瓣登陆相关推荐

豆瓣网络爬虫-java网络爬虫[验证码模拟登陆]详细介绍
目录抓包介绍解决验证码的思路验证码地址拼接爬虫实战爬虫架构 model main 解析htmlparse 数据库操作程序db 近期,有人将本人博客,复制下来,直接上传到百度文库等平台. 本文 ...
Java爬虫获取豆瓣的短评数据
Java爬虫获取豆瓣的短评数据打开豆瓣的选电影页面的链接,可以看到该网页的下面分为热门,最新,经典等栏目分类,网页每次显示20部电影,通过几部电影的查看,可以发现电影的短评页https://movi ...
xhr get获取文件流下载文件_python爬虫实战——豆瓣电影get初体验
影评许可证公众号[2019]第22期本栏目由"数据皮皮侠"独家呈献专场 python爬虫实战--豆瓣电影get初体验 2019.10.28 / 早上7点场 / 免费本期&q ...
Python 爬虫分析豆瓣 TOP250 之信息字典和马斯洛的锥子
问题本文是对<Python 爬虫分析豆瓣 TOP250 告诉你程序员业余该看什么书?> 一文的补充我们以<追风少年>为例用chrome的developer tool查看源 ...
Python爬虫(5):豆瓣读书练手爬虫
Python爬虫(5):豆瓣读书练手爬虫我们在之前的文章中基本上掌握了Python爬虫的原理和方法,不知道大家有没有练习呢.今天我就来找一个简单的网页进行爬取,就当是给之前的兵书做一个实践.不然不就 ...
爬虫实战——豆瓣电影Top250
爬虫实战--豆瓣电影Top250 准备阶段网页分析在目标网页直接ctrl+u查看网页源代码(或者F12审查),豆瓣的网页源代码就出现了(非常友好): <!DOCTYPE html> & ...
湖南工业大学教务系统爬虫（模拟登陆篇）
湖南工业大学教务系统爬虫(模拟登陆篇) 之前写了一个教务系统的爬虫程序,可以根据用户要求爬取任何一部分的数据,也可以模拟提交数据,可能这也是部分工大计算机学生比较感兴趣的,所以今天就在这分享一下整个的 ...
第一期：【python爬虫】豆瓣电影top250
1.首先看最后的爬取结果还有电影的信息,我保存的是csv文件.可以学到爬虫的相关知识和数据保存的信息. 删除信息,直接上代码. 红色圆点旁边的是清空.(如上图所示) 下面请求中的第一个或者前几个(如 ...
Python爬虫之豆瓣排行榜（正则表达式)
Python爬虫之豆瓣排行榜(正则表达式) 1. 项目目标使用Chrome浏览器打开网页https://maoyan.com/ ,切换到[榜单],[TOP100榜].本次项目就是要获取豆瓣排名Top ...

Pyton爬虫实现豆瓣登陆

1.实现登陆

Pyton爬虫实现豆瓣登陆相关推荐

最新文章

热门文章