python登陆成功页面跳转_模拟登陆后如何获取跳转的网页？

爬取虾米音乐时，模拟登陆网页版地址https://login.xiami.com/member/login后，返回的是一串字符（包括status、jumpurl以及账号信息等），但无法获取跳转后的网页（http://www.xiami.com/）；通过HttpFox发现：为了得到网页，必须发送登录时获取的cookie，于是添加cookie再进行爬取就可以了！奇怪的是，登陆手机版的网址不需要发送cookie就可以获取到，所以也想请教下原因。如果不采用登陆后再添加cookie的方法，如何直接获取到登陆跳转后的网页？

附录的代码：

#! /usr/bin/env python2.7

# encoding=utf-8

import re

import urllib,cookielib,urllib2

cookie = cookielib.CookieJar()

opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))

postdata = urllib.urlencode({

'email' : '（省略）',

'password' : '（省略）',

'submit' : '%E7%99%BB%E5%BD%95',

'_xiamitoken' : '（省略）',

'done' : 'https://www.xiami.com',

'from' : 'web',

'havanaId' : ''

})

postdata = postdata.encode('utf-8')

login_headers = {

'Referer' : 'https://www.xiami.com/',

'User-Agent' : 'Chrome/45.0.2454.101',

}

url = 'https://login.xiami.com/member/login'

req = urllib2.Request(url,postdata)

#result = opener.open(req)

result = urllib2.urlopen(req)

print result.read()

获取到的字符串：

{"status":true,"message":"success","data":{"user_id":"（省略）","nick_name":"（省略）"},"jumpurl":"https:\/\/www.xiami.com"}

python登陆成功页面跳转_模拟登陆后如何获取跳转的网页？相关推荐

shiro权限控制登陆成功页面跳转问题
在开发中使用了shiro进行权限控制,遇到一个页面跳转问题:当用户账号密码都正确的时候并没有跳转到登陆成功页面. 在shiroFilter过滤器中配置了登陆成功路径没有反应.注意:我使用的是表单验证. ...
简单的PHP登陆页面和登陆成功页面代码
PHP登陆页面代码 <html> <head> <meta charset="utf-8"> <title>登陆页面</tit ...
pytho简单爬虫_模拟登陆西电流量查询_实现一键查询自己的校园网流量
闲来无事,由于校园内网络是限流量的,查询流量很是频繁,于是萌生了写一个本地脚本进行一键查询自己的剩余流量. 整个部分可以分为三个过程进行: 对登陆时http协议进行分析利用python进行相关的模拟 ...
python实用脚本知乎_Python 爬虫模拟登陆知乎
在之前写过一篇使用python爬虫爬取电影天堂资源的文章,重点是如何解析页面和提高爬虫的效率.由于电影天堂上的资源获取权限是所有人都一样的,所以不需要进行登录验证操作,写完那篇文章后又花了些时间研究了 ...
python 突破b站验证码_Python爬虫模拟登陆哔哩哔哩(bilibili)并突破点选验证码功能...
写在前面今天带给大家一个突破点选验证码的案例,利用爬虫模拟登陆哔哩哔哩,并且把一些采坑的地方给大家强调一下! 一.需求分析模拟登陆哔哩哔哩网站链接: https://passport.bilib ...
登陆成功页面5秒跳转
争做5秒真男人,哈哈哈哈哈. 代码: <!DOCTYPE html> <html><head><meta charset="UTF-8"& ...
python怎么登录微博并发微博_Python模拟登陆万能法-微博|知乎
Python模拟登陆让不少人伤透脑筋,今天奉上一种万能登陆方法.你无须精通HTML,甚至也无须精通Python,但却能让你成功的进行模拟登陆.本文讲的是登陆所有网站的一种方法,并不局限于微博与知乎,仅 ...
Slog41_支配vue框架初阶项目之博客网站-单页-登陆成功页面的布局和定位
ArthurSlog SLog-41 Year·1 Guangzhou·China Aug 18th 2018 GitHub 掘金主页简书主页 segmentfault 履霜坚冰至开发环境MacO ...
java模拟登录百度_模拟登陆百度的Java实现
常常需要爬取百度统计出来的数据,难免要进行百度的模拟登陆!现将程序贴出来,供他人也供自己以后使用: ? ? package org.baidu; import java.util.List; impo ...

python登陆成功页面跳转_模拟登陆后如何获取跳转的网页？

python登陆成功页面跳转_模拟登陆后如何获取跳转的网页？相关推荐

最新文章

热门文章