python 打开网页获取cookies_python 携带cookie获取页面内容

有时会遇到爬取的页面需要登录，这就要带上cookie了。

下面记录了几种携带cookie的方法

# coding=utf-8

import requests

s = requests.Session()

login_data = {'username': 'teacher', 'password': 'teacher'}

# 方法1

# resp1 = s.post('http://192.168.2.132/login/', data=login_data)

# r = s.get('http://192.168.2.132/personal_live/')

# 方法2

# resp1 = requests.post('http://192.168.2.132/login/', data=login_data)

# print('cookie:' + str(resp1.cookies))

# r = requests.get('http://192.168.2.132/personal_live/', cookies=resp1.cookies)

# 方法3

# c = {'sessionid': '3ps7ouyox1l43alcb7rafxg9dtfnurcb'}

# r = requests.get('http://192.168.2.132/personal_live/', cookies=c)

c = {

'.CNBlogsCookie': 'D020D...07',

'.Cnblogs.AspNetCore.Cookies': 'CfDJ...WA',

'SyntaxHighlighter': 'java',

'SERVERID': '560...34'

}

r = requests.get('https://i.cnblogs.com/EditPosts.aspx?opt=1', cookies=c)

resp = r.text

print(resp)

方法1是利用同一个Session，先登录，再访问有限制页面。

方法2是直接使用requests，和1一样，同样是先登录，获取cookie,携带cookie访问限制页面。

方法3是手动从浏览器获取cookie，再携带cookie访问限制页面。

优缺点：

1,2差不多，都是直接运行脚本就可以了，但是需要登录页面没有验证码一类的处理。

3可以应对各种网站，但是需要手动获取cookie。

python 打开网页获取cookies_python 携带cookie获取页面内容相关推荐

python 获取帮助页_Python-爬取页面内容（涉及urllib、requests、UserAgent、Json等）
1. 我们采用Python3.x的urllib,然后你会发现如果爬取简书的链接,直接访问会被403,这个主要是涉及因为我们请求Header里面没有User-Agent字段.此时可以配合三方的fake_ ...
python 打开网页、封装自己的浏览器、制作浏览器、打开麦克风和摄像头、忽略ssl证书错误、置顶、无边框
python 打开网页.封装自己的浏览器 selenium 下载浏览器和浏览器驱动功能全面,就是不能无边框 pip install selenium from selenium import web ...
python安装之后怎么打开-安装python后如何通过Python打开网页
Python中可以通过selenium webdriver和webbrowser方法打开网页. 一.selenium webdriver 1.首先需要安装selenium和webdriver pip ...
安装完python怎么打开-安装python后如何通过Python打开网页
Python中可以通过selenium webdriver和webbrowser方法打开网页. 一.selenium webdriver 1.首先需要安装selenium和webdriver pip ...
自动化（二）使用Python打开网页
使用Python打开网页: 话不多说,直接上代码 import urllib.request import os from selenium import webdriver chromedriver ...
Python 打开网页的几种方式
Python打开网页的几种方式方法1:直接调用系统命令 os #导入包 import os #执行包命令 os.system('"C:/Users/Public/AppData/Local ...
html可以用搜狗浏览器打开网页,win8使用搜狗浏览器打开网页“显示WEB浏览器已对此页面进行了修改以帮助跨站脚本”怎么办...
windows8系统自带IE浏览器,但是一些用户还是喜欢下载第三方浏览器,比如搜狗浏览器,使用搜狗浏览器过程中总会遇到一些故障问题,比如win8使用搜狗浏览器打开网页"显示WEB浏览器已对此 ...
python 打开网页开发者工具_Python获取网页指定内容(BeautifulSoup工具的使用方法)...
page = urllib2.urlopen(url) contents = page.read() #获得了整个网页的内容也就是源代码 print(contents) url代表网址,content ...
python打开网页并输入数据_使用Python登陆网站读取表格数据
近期有经常使用的数据,需要登陆到某个网站,将其中的表格数据读取出来,为了提高效率节省工作时间,决定写一个程序,使用Python自动登陆到该网站然后将某日(参数)的数据读取并存放于excel表格中. 1 ...

python 打开网页获取cookies_python 携带cookie获取页面内容

python 打开网页获取cookies_python 携带cookie获取页面内容相关推荐

最新文章

热门文章