python访问网页被拒_Python Requests.get访问网页403错误

Pycharm 2018.1, Python 3.6, 通过Pycharm的File->Settings->Plugins搜索Requests安装上去。

import requests

r = requests.get(

这段代码尝试访问雪球网站，结果会返回403错误代码表示forbidden。因为没加上http请求header，估计时雪球网站有一定的反爬虫策略。于是我构造了一个如下的header然后把header传递给get。

headers = {

'Accept': '*/*',

'Accept-Encoding': 'gzip, deflate, br',

'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',

'Connection': 'keep-alive',

'host': 'xueqiu.com',

'Referer': 'User-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW 64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 QIHU 360SE'}

r = requests.get(

这次访问返回200，表示访问成功。

注意，如果去掉User-agent访问将返回403,所以必须加上User-agent以模拟真实的浏览器访问。

一开始我从其他人的代码拷贝一个header过来用，按那个格式我把host行改为 ‘host': 'https//http://xueqiu.com/'，结果访问返回400代码即格式有误。

如果不知道真实的http访问头是怎样的可以安装一个火狐浏览器，我安装了59版的，注意以前的著名的firebug已经停止开发了，不能用于比较新版的火狐了。于是我用按F12，捕捉浏览器的http消息，你就可以看到实际的请求header了。

python访问网页被拒_Python Requests.get访问网页403错误相关推荐

python绘制蚊香形_Python requests发送post请求的一些疑点
前言在Python爬虫中,使用requests发送请求,访问指定网站,是常见的做法.一般是发送GET请求或者POST请求,对于GET请求没有什么好说的,而发送POST请求,有很多朋友不是很清楚,主要 ...
python设置全局变量失败_Python全局变量与global关键字常见错误解决方案
在Python的变量使用中,经常会遇到这样的错误: local variable 'a' referenced before assignment 它的意思是:局部变量"a"在赋值 ...
python多线程实现访问页面升级_python使用多线程不断刷新网页的方法
本文实例讲述了python使用多线程不断刷新网页的方法.分享给大家供大家参考.具体如下: 这段代码可以开通过个线程不断刷新指定的页面,可用于刷票,增加网页访问量等等,不用再去按F5了 import t ...
python 统计分析apache日志_python分析apache访问日志脚本分享
#!/usr/bin/env python # coding=utf-8 #------------------------------------------------------ # Name: ...
python达梦数据库_Python 编程可以访问达梦数据吗？
可以,但官方只给了python2.7版本的包,python3目前无法使用,此外达梦自己的linux客户端只支持redhat或者centos.请首先在系统安装达梦客户端,下载地址如下: 具体流程如下: ...
python怎么访问实例变量_python实例怎么访问类变量
python实例怎么访问类变量发布时间:2020-12-14 09:13:14 来源:亿速云阅读:102 作者:小新这篇文章主要介绍了python实例怎么访问类变量,具有一定借鉴价值,需要的朋友 ...
python跨目录调用_python 跨目录访问文件
1.同级.同目录的文件之间的访问有这样一个目录结构假如,in_A.py 这个文件想调用 hello_world.py 中的函数怎么办呢? --->>> import 只需在 i ...
python创建空字典_Python创建和访问字典
>>> dict1 = {'a':'1','b':'2','c':'3','d':'4'} >>> print('a的值是:',dict1['a']) a的值是: ...
python解析网页数据_python爬虫——爬取网页数据和解析数据
1.网络爬虫的基本概念网络爬虫(又称网络蜘蛛,机器人),就是模拟客户端发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序. 只要浏览器能够做的事情,原则上,爬虫都能够做到. ...

python访问网页被拒_Python Requests.get访问网页403错误

python访问网页被拒_Python Requests.get访问网页403错误相关推荐

最新文章

热门文章