urllib库中cookie的使用
#----------------------------如何获取cookie信息-------------------------------------------- import http.cookiejar,urllib.request # #第一步声明一个Cookiejar对象 # cookie_obj=http.cookiejar.CookieJar() # #第二步,根据cookiejar对象创建cookie信息的管理对象handler # handler=urllib.request.HTTPCookieProcessor(cookie_obj) # #第三步,根据handler对象创建一个opener对象 # opener=urllib.request.build_opener(handler) # #第四步,根据opener对象打开网址 # response=opener.open("http://www.baidu.com") # #这样CookieJar对象cookie_obj就保存了该网址的cookie信息 # for item in cookie_obj: # print(item.name+"=",item.value)#----------------------如何将cookie信息保存到本地---------------------------- # cookieJar # / # FileCookieJar # / \ # MozillaCookieJar LWPCookieJar # #MozillaCookieJar和LWPCookieJar都是用于将cookie信息保存为本地文件的一种形式,区别在于使用MozillaCookieJar生成的Cookie信息会保存为Mozilla类型的Cookie格式。使用LWPCookieJar会将cookie信息保存为libwww-perl格式的cookie文件。# #第一步:声明一个MozillaCookieJar或者LWPCookieJar的一个对象 # cookie_mozilla_obj=http.cookiejar.MozillaCookieJar(filename="cookie.txt") # #第二步:根据MozlillaCookieJar生成的对象cookie_mozilla_obj,来创建一个cookie信息的管理对象handler # hanlder=urllib.request.HTTPCookieProcessor(cookie_mozilla_obj) # #第三步:根据handler对象创建opener对象 # opener=urllib.request.build_opener(hanlder) # #第四步:根据opener对象对网址发起请求 # response_test=opener.open("http://www.baidu.com") # #第五步:将cookie信息保存到本地 # #ignore_descard=True。即使cookie信息将要过期/作废,也要将其保存到文件 # #igonre_expires=True。即使cookie信息在文件中已经存在,仍然对其进行覆盖写入。 # cookie_mozilla_obj.save(ignore_expires=True,ignore_discard=True)#------------------------读取cookie信息对网站进行访问--------------------------- #第一步:声明一个MozillaCookieJar对象 cookie_obj=http.cookiejar.MozillaCookieJar() #第二步:加载本地的cookie信息 #ignore_descard=True。即使cookie信息将要过期/作废,也仍要读取cookie信息 #igonre_expires=True。即使cookie信息在文件中已经存在,仍然也要读取。 cookie_obj.load(filename="cookie.txt",ignore_expires=True,ignore_discard=True) #第三步:根据cookie_obj创建cookie信息的管理对象handler handler=urllib.request.HTTPCookieProcessor(cookie_obj) #第四步:根据handler创建一个opener对象 opener=urllib.request.build_opener(handler) #第五步:根据opener对象调用open方法对网站发起请求 response=opener.open("http://www.baidu.com") print(response.read().decode("utf-8"))
转载于:https://www.cnblogs.com/chensang/p/10096730.html
urllib库中cookie的使用相关推荐
- oracle urlencode 中文,Python2和Python3中urllib库中urlencode的使用注意事项
前言 在Python中,我们通常使用urllib中的urlencode方法将字典编码,用于提交数据给url等操作,但是在Python2和Python3中urllib模块中所提供的urlencode的包 ...
- python3 urlencode_Python2和Python3中urllib库中urlencode的使用注意事项
前言 在Python中,我们通常使用urllib中的urlencode方法将字典编码,用于提交数据给url等操作,但是在Python2和Python3中urllib模块中所提供的urlencode的包 ...
- web爬虫讲解—urllib库中使用xpath表达式—BeautifulSoup基础
在urllib中,我们一样可以使用xpath表达式进行信息提取,此时,你需要首先安装lxml模块,然后将网页数据通过lxml下的etree转化为treedata的形式 urllib库中使用xpath表 ...
- python爬虫 - Urllib库及cookie的使用
lz提示一点,python3中urllib包括了py2中的urllib+urllib2.[python2和python3的区别.转换及共存 - urllib] 怎样扒网页? 其实就是根据URL来获取它 ...
- Cookie登录爬取实战:Python 利用urllib库的cookie实现网站登录并抓取
1 环境:Python 3 +urllib库 实战网站:http://www.mjzcnd.com/ 梅江之春论坛网站 2 背景: 现在许多网站都需要登录后才能访问某个页面,在登陆之前,我们是没有权 ...
- python中的urllib库_Python2/3中的urllib库
介绍urllib库在不同版本的Python中的变动,并以Python3.X讲解urllib库的相关用法. urllib库对照速查表 Python2.X Python3.X urllib urllib. ...
- python网络爬虫系列(一)——urllib库(urlopen、urlretrieve、urlencode、parse-qs、urlparse和urlsplit、request.Request类)
urllib库 urllib库是Python中一个最基本的网络请求库.可以模拟浏览器的行为,向指定的服务器发送一个请求,并可以保存服务器返回的数据. 一.urlopen函数: 在Python3的url ...
- 第三部分 基本库的使用(urllib库, requests库, re库)
Python提供了功能齐全的类库来完成网络请求.基础库的HTTP库有urllib, httplib2, requests, treq等. 比如说rullib库,不用关心底层怎么实现的,只要关心请求的链 ...
- Python 爬虫之urllib库的使用
urllib库 urllib库是Python中一个最基本的网络请求库.可以模拟浏览器的行为,向指定的服务器发送一个请求,并可以保存服务器返回的数据. urlopen函数: 在Python3的urlli ...
最新文章
- 【JZOJ5064】【GDOI2017第二轮模拟day2】友好城市 Kosarajo算法+bitset+ST表+分块
- 对话 | 不能与人类直接对话的智能硬件都是“伪”智能
- 【SpringCloud】高可用Eureka
- dwz中弹出的窗口页面如何获取前页面(点击按钮的页面)的元素???
- 各种排序算法及其实现总结
- 【MATLAB】饼图
- python为什么会出现无响应怎么办_python定时检测无响应进程并重启的实例代码
- 企业落地Kubernetes的问题与对策
- SQL 笛卡尔积 学习与理解
- 深度ip转换器手机版app_手机防爆卫士app下载-手机防爆卫士去广告版1.2.0旧版
- 数学史思维导图_趣谈数学历史:数学发展简史思维导图——中国、外国数学发展...
- 教你画架构图,看一次就会了
- 解决VM虚拟机连不上网络的问题
- python象棋编程_Python开发象棋小游戏(绘制棋盘)
- 阿里云部署Django项目(nginx+uWSGI)-2018.11
- AI脚本插件开发-批量加边框-图层边框-可视边界-黑色描边-插件制作源码-illustrator插件开发
- 二维vector的创建
- python读文件的方法
- Webflux异常处理
- 弹性地基梁计算程序 注册机_理正岩土弹性地基梁分析软件
热门文章
- mysql group by 规则_MySQL 中关于 GROUP BY 的问题
- ajax里怎么添加跳转地址,Ajax中window.location.href无法跳转的解决办法
- 选择题微型计算机系统包括,全国计算机一级选择题专项训练及答案2016
- 语言怎么绘画人物肖像_国画里的新年,看看古人是怎么过年的!
- project 模板_不会绘制横道图?18个施工进度计划横道图模板,可一键自动生成,方便快捷易操作,直观形象,相当好用...
- python time datetime
- Tomcat+nginx+keepalived+memcached实现双VIP负载均衡及Session会话保持
- cerely异步分布式
- 性能优化之MySQL调优篇
- hdu 1561 The more, The Better 树形dp