在抓取数据的时候往往可以通过状态码来判断返回结果，今天在抓取数据的时候碰到了以前没有碰到过得状态码521，输出它的爬取内容(text)，发现是一些js代码。一起探讨一下如何处理521状态码。

用charles抓包的时候，发现浏览器对于同一网页连续访问了两次，第一次的访问状态码为521，第二次为200(正常访问)。看来网页加了反爬虫机制，需要两次访问才可返回正常网页。

通过对比两次请求，我们发现第二次访问带了新的cookie值。再考虑上面程序对爬取结果的输出为js代码，可以考虑其操作过程为：第一次访问时服务器返回一段可动态生成cookie值的js代码；浏览器运行js代码生成cookie值，并带cookie重新进行访问；服务器被正常访问，返回页面信息，浏览器渲染加载。

弄清楚浏览器的执行过程后，我们就可以模拟其行为通过python作网页爬取。操作步骤如下：

用request.get(url)获取js代码

执行函数eval()语句修改为return语句返回cookie值

调用execjs执行js代码获得cookie值

将cookie值转化为字典格式，用request.get(url, headers=headers)方法获取得到正确的网页信息

代码如下：

def getResponse():

"""

获取response

:return:

"""

response = requests.get(startUrl, headers=headers)

return response

def getJslid(response):

"""

:param response:

:return:

"""

cook = response.cookies

return '; '.join(['='.join(item) for item in cook.items()])

def getClearance(response):

"""

:return:

"""

txt = ''.join(re.findall('', response.text))

func_return = txt.replace('eval', 'return')

print(func_return)

content = execjs.compile(func_return)

eval_func = content.call('x')

name = re.findall(r'var (.*?)=function.*', eval_func)[0]

mode_func = eval_func.replace('while(window._phantom||window.__phantomas){};', ''). \

replace('document.cookie=', 'return').replace('if((function(){try{return !!window.addEventListener;}', ''). \

replace("catch(e){return false;}})()){document.addEventListener('DOMContentLoaded',%s,false)}" % name, ''). \

replace("else{document.attachEvent('onreadystatechange',%s)}" % name, '').replace(

r"setTimeout('location.href=location.pathname+location.search.replace(/[\?|&]captcha-challenge/,\'\')',1500);",

'')

content = execjs.compile(mode_func)

cookies = content.call(name)

# print(cookies)

clearance = cookies.split(';')[0]

return clearance

def structureHeaders(cook, clearance):

"""

构造新的headers

:return:

"""

cookie = {

'cookie': cook + ';' + clearance

}

return dict(headers, **cookie)

标签：return,python,爬虫,replace,headers,cookie,521,func,response

来源： https://www.cnblogs.com/gongs/p/10524710.html