python3爬虫豆瓣_Python爬虫（3）豆瓣登录

前面（1）（2）的内容已经足够爬虫如链家网之类的不需要登录可以直接获取数据的网站。

而要爬取社交网站比较鲜明的特点就是需要登录，否则很多东西都无法获取。经过测试发现，微博，知乎都不是很好登录，知乎有时候的验证码会类似12306那样，而微博除了验证码，在传递参数的时候会对用户名进行base64加密。这里讲简单的豆瓣的登录以及简单的爬取。

对于Chrome内核的浏览器来说，可以右键，审查元素，选择network，登录一下自己的账号。

选中login会有各种post还是get，url，连接头各种信息。

往下拉找到formdat，像微博就把formdata给加密了。

form data里有我们登录所需要的所有信息，其中captcha-solution就是登录验证码，有时候有有时候没有所以在请求的时候，需要判断有没有。

import requests

import re

from bs4 import BeautifulSoup as bs

import sys

reload(sys)

sys.setdefaultencoding('utf-8')

s = requests.Session()

url_login = 'http://accounts.douban.com/login'

url_contacts = 'https://www.douban.com/contacts/list'

formdata = {

'source':'index_nav',

'redir': 'https://www.douban.com',

'form_email': '22222',

'form_password': '111111',

'login': u'登录'

}

headers = {'user-agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'}

r = s.post(url_login, data=formdata, headers=headers)

content = r.text

soup = bs(content, 'lxml')

captcha = soup.find('img', id='captcha_image')

if captcha:

captcha_url = captcha['src']

re_captcha_id = r'

captcha_id = re.findall(re_captcha_id, content)

print captcha_id

print captcha_url

captcha_text = raw_input('Please input 验证码啊')

formdata['captcha-solution'] = captcha_text

formdata['captcha-id'] = captcha_id

r = s.post(url_login, data=formdata, headers=headers)

这样就成功登录啦。

其实还有一种简单的办法，就是在登录的时候选择记住我，然后在Request Headers里复制下来cookie，cookie可以用很久，所以还是足够自用的。

import requests

import os

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'}

cookies = {'cookie':1'}

url = 'http://www.douban.com'

r = requests.get(url, cookies=cookies,headers=headers)

r.encoding = 'utf-8'

print r.text

with open('douban.txt','wb+',encoding = 'utf') as f:

f.write(r.content)

python3爬虫豆瓣_Python爬虫（3）豆瓣登录相关推荐

scrapy mysql 豆瓣_Python爬虫之Scrapy+Mysql+Mongodb爬豆瓣top250电影
学习python时,爬虫是一种简单上手的方式,应该也是一个必经阶段.本项目用Scrapy框架实现了抓取豆瓣top250电影,并将图片及其它信息保存下来.爬取豆瓣top250电影不需要登录.没有JS解析 ...
python爬虫教材推荐豆瓣_Python爬虫爬取豆瓣书籍数据
炎热的夏天,酷暑难挡,难免会心烦意燥,睡前随手拿起枕边看过很多遍的「平凡的世界」.看书,会让躁动的心瞬间安静下来. 生活不能等待别人来安排,要自己去争取和奋斗:而不论其结果是喜是悲,但可以慰藉的是,你 ...
python爬虫代理服务器_Python爬虫之服务器：代理IP万能
最近很多同学租服务器用来学习爬虫,对于大部分小白来说,爬虫非常复杂.技术门槛很高.但我们可以通过爬虫获取大量的价值数据,经分析可以发挥巨大的价值,比如:豆瓣.知乎,爬取优质答案,筛选出各话题下热门内容 ...
beautifulsoup网页爬虫解析_Python爬虫快速入门，静态网页爬取
在开始之前,请确保你的电脑上已经安装好了BeautifulSoup库,可以通过在命令行中输入pip install beautifulsoup4来进行安装. 一.数据解析在爬取之前,我们需要检测下响 ...
python 爬虫包_python爬虫学习之路-抓包分析
利用浏览器抓包,是爬虫中的很实用的技能.在爬虫编程之前,我们要对抓取的目标页面有所了解,比如浏览器的这个请求这个页面中间都经历了什么,数据是怎么发送和返回的. 抓包的作用我把抓包分析的作用简单列一下 ...
python爬虫要点_Python爬虫知识点梳理
学任何一门技术,都应该带着目标去学习,目标就像一座灯塔,指引你前进,很多人学着学着就学放弃了,很大部分原因是没有明确目标,所以,在你准备学爬虫前,先问问自己为什么要学习爬虫.有些人是为了一份工作,有些 ...
手机python爬虫教程_python爬虫入门之移动端数据的爬取
第七章移动端数据的爬取基于某一款抓包工具 : fiddler ,青花瓷 ,miteproxy 7.1 fiddler 基本配置 7.1.1fiddler简介和安装什么是Fiddler? Fidd ...
python爬虫教材推荐豆瓣_Python爬虫入门教程：豆瓣Top电影爬取
基本开发环境Python 3.6 Pycharm 相关模块的使用requests parsel csv 安装Python并添加到环境变量,pip安装需要的相关模块即可. 爬虫基本思路一.明确需求爬 ...
python用scrapy爬虫豆瓣_python爬虫，用Scrapy爬取豆瓣Top250，存入MySQL
小白大四生,虽然是计算机专业,但是对学的几门编程语言缘分不深,然后自学了python.(这是我后来补得,因为我发现我写的太笼统了并不适合给新手看,对不起!所以希望大家轻点喷,后面我会从特别特别特别详细 ...

python3爬虫豆瓣_Python爬虫（3）豆瓣登录

python3爬虫豆瓣_Python爬虫（3）豆瓣登录相关推荐

最新文章

热门文章