前言

前段时间在用scrapy爬取某个网站时一直报521错误，在seeting.py里设置HTTPERROR_ALLOWED_CODES= [521]后会发现返回的response是一段加密的js代码。这段js代码是动态取得cookie信息的(但是只有一个value,故放弃了使用python库去执行js的打算),最后利用浏览器打开网页将其cookie手动添加到爬虫中会正常返回数据，最后找到了Ghost.py这个库去模拟浏览器打开网站行为并动态获取cookie信息的办法。

具体步骤

.安装Ghost.py

sudo pip install Ghost.py==0.1.2

返回最新的cookie

from ghost import Ghost

from scrapy import log

import re

class Cookieutil:

def __init__(self,url):

log.msg('init cookieutil class ,will be get %s cookie information!' %url, log.INFO)

gh = Ghost(download_images=False,display=False)

gh.open(url)

gh.open(url)

gh.save_cookies("cookie.txt")

gh.exit()

def getCookie(self):

cookie = ''

with open("cookie.txt") as f:

temp = f.readlines()

for index in temp:

cookie += self.parse_oneline(index).replace('\"','')

return cookie[:-1]

def parse_oneline(self,src):

oneline = ''

if re.search("Set-Cookie",src):

oneline = src.split(';')[0].split(':')[-1].strip()+';'

return oneline

scrapy的spider定时生成和调用cookie信息

这里只贴上主要的代码

headers={

'Cookie':'',

'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.2 (KHTML, like Gecko) Chrome/15.0.874.121 Safari/535.2',

}

headers['Cookie'] = Cookieutil('http://www.dmoz.org.cn/').getCookie()

def parse_page(self,response):

if int(time.time())-self.begin_time>3600:

print 'get a new cookie arrgment'

print self.headers['Cookie']

self.begin_time = int(time.time())

try:

self.headers['Cookie'] = Cookieutil('http://www.dmoz.org.cn/').getCookie()

except:

time.sleep(120)

self.headers['Cookie'] = Cookieutil('http://www.dmoz.org.cn/').getCookie()

结语

不过有个比较纠结的问题是Ghost.py需要依赖webkit,以致于在本地开发中能够正常运行，但是放到服务器中直接报错(Exception: Ghost.py requires PySide or PyQt4)。

目前为止还没找到好的解决办法