在Scrapy中使用Chrome中的cookie

2019独角兽企业重金招聘Python工程师标准>>>

from cookielib import CookieJar as _CookieJar, DefaultCookiePolicyfrom scrapy.utils.httpobj import urlparse_cacheddef sqlite2cookie():#filenamefrom cStringIO import StringIO#from pysqlite2 import dbapi2 as sqliteimport sqlite3import cookielib## but we can make sqlite3 always return bytestrings ...# Cookies file come from C:\Users\JiangHonglei\AppData\Local\Google\Chrome\User Data\Default\Cookiescon = sqlite3.connect(r'Cookies') con.text_factory = strcur = con.cursor()#cur.execute("select host, path, isSecure, expiry, name, value from moz_cookies")cur.execute("select host_key, path, secure, expires_utc, name, value from cookies")ftstr = ["FALSE","TRUE"]s = StringIO()s.write("""\
# Netscape HTTP Cookie File
# http://www.netscape.com/newsref/std/cookie_spec.html
# This is a generated file!  Do not edit.
""")for item in cur.fetchall():try:s.write("%s\t%s\t%s\t%s\t%s\t%s\t%s\n" % (item[0], ftstr[item[0].startswith('.')], item[1],ftstr[item[2]], item[3], item[4], item[5]))except UnicodeError:continues.seek(0)cookie_jar = cookielib.MozillaCookieJar()cookie_jar._really_load(s, '', True, True)return cookie_jar

转载于:https://my.oschina.net/cppblog/blog/12092

在Scrapy中使用Chrome中的cookie相关推荐

html5中地理位置,Chrome中的HTML 5地理位置提示
刚刚开始进入HTML 5并测试地理位置...到目前为止为止.不过,我遇到了一些减速带...当我尝试获取地理位置时,Chrome会自动阻止页面获取我的位置.在其他站点(例如以下站点)上不会发生这种情况: ...
fetch 自动加cookie_如何在shell中动态获取chrome浏览器的cookie信息
0. 背景在工作的时候,经常要接触一些办公系统,在网页上通过机械化的操作,来完成一个简单的功能,比如某台主机权限的申请,通过一套操作一下,大概7.8个步骤,花费30秒的时间,虽然不长,但是要脱离终端 ...
为什么本地使用js或jquery操作cookie在谷歌浏览器chrome中不生效？
2019独角兽企业重金招聘Python工程师标准>>> 为什么本地使用js或jquery操作cookie在谷歌浏览器chrome中不生效?新手学习js或jquery时,一般是在本地调 ...
在 Chrome 中清除、启用和管理 Cookie
原文:https://support.google.com/chrome/answer/95647?co=GENIE.Platform%3DDesktop&hl=zh-Hans 在 Chrom ...
php获取阿里妈妈网页,如何获得chrome浏览器中的阿里妈妈网站cookie？
<如何获得chrome浏览器中的阿里妈妈网站cookie?>要点: 本文介绍了如何获得chrome浏览器中的阿里妈妈网站cookie?,希望对您有用.如果有疑问,可以联系我们. 如何取得浏 ...
分析chrome中的network面板
network总览找了个简单的网页来录制network: 名词解释: Name (&path): 资源的名称及其路径 Method: 请求该资源的方法 Status (&Text) ...
开发中经常碰到的问题cookie和session问题，今天一并解决
点击上方"好好学java",选择"置顶公众号" 优秀学习资源.干货第一时间送达! 精彩内容 java实战练习项目教程 2018微服务资源springboot.s ...
python网络爬虫系列教程——python中urllib、urllib2、cookie模块应用全解
全栈工程师开发手册 (作者:栾鹏) python教程全解 python数据挖掘库urllib.urllib2.cookie知识全解.本文使用python2.7环境,如果需要使用python3的环境只需 ...
Google Chrome 中的高性能网络
Google Chrome 中的高性能网络 Google Chrome的历史和指导原则原译注:这部分不再详细翻译,只列出核心意思. 驱动Chrome继续前进的核心原则包括: Speed:做最快的(f ...

在Scrapy中使用Chrome中的cookie

在Scrapy中使用Chrome中的cookie相关推荐

最新文章

热门文章