python requests.get无法取出网页_Python requests获取网页常用方法解析

这篇文章主要介绍了Python requests获取网页常用方法解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

主要记录使用 requests 模块获取网页源码的方法

class Crawler(object):

"""

采集类

"""

def __init__(self, base_url):

self._base_url = base_url

self._cookie = None

self._getCookie()

def _getCookie(self):

"""

获取站点cookie

:return:

"""

try:

res = requests.get(self._base_url)

res.raise_for_status()

# TODO response.cookies获取到的是一个cookiejar对象，需要使用requests.utils.dict_from_cookiejar来

# TODO 将cookiejar对象转换为一个字典，这个字典后续使用的时候，在请求时直接传入就可以了，

# 如 requests.get(url, cookies=cookies)

self._cookie = requests.utils.dict_from_cookiejar(res.cookies)

print self._cookie

except Exception as e:

print e

def get_html_text(self, url, **kwargs):

"""

爬取网页的通用代码框架

:param url:

:param method:

:param kwargs:

:return:

"""

try:

kwargs.setdefault('cookies', self._cookie)

res = requests.get(url, **kwargs)

# TODO 若响应状态码不是200, 抛出 HTTPError 异常

res.raise_for_status()

res.encoding = res.apparent_encoding

# print requests.utils.dict_from_cookiejar(res.cookies)

return res.text

except Exception as e:

print traceback.print_exc()

return

本文标题: Python requests获取网页常用方法解析

本文地址: http://www.cppcns.com/jiaoben/python/301017.html

python requests.get无法取出网页_Python requests获取网页常用方法解析相关推荐

python requests下载网页_Python requests 获取网页一般的方法
主要记录使用 requests 模块获取网页源码的方法 class Crawler(object): """ 采集类 """ def __i ...
python获取网页标题_Python2获取网页标题
Python获取网页标题使用Python2.x的urllib2和lxml,速度应该还快于BeautifulSoup4(话说回来,为什么大家都要用BS4呢?一个XPATH不就完了吗) 没有安装过的,用 ...
获取网页源代码 python_python 获取网页源代码
import re #正则表达式模块 import urllib.request import time #时间模块 import string #字符串模块 def getHtml(url):f=u ...
爬取网页时自动获取网页编码信息，并对特殊的乱码页面（压缩过的网页内容）用gzip进行解码。...
gzip的命名空间引用如下:using System.IO.Compression; 获取网页编码和信息 /// <summary> /// create time 201 ...
如何用php获取网页表格,PHP获取网页上任意表格中内容的通用程序的制作
在工作中,经常需要对网页上的表格内容进行处理,但是,由于表格内容制作过程中的随意性,跨行跨列经常发生,所以我作了这几个函数,以获取表格的内容,程序中重要的地方已作了注解,所以在此不再重复说明,经过测试 ...
python谷歌翻译频率限制_Django限制API访问频率常用方法解析
需求描述: 平台中需要编写接口供第三方调用,需要控制调用频率,需求为5s内调用一次后不得再次调用. 解决思路 1.Django官方插件库中有个django-ratelimit插件可以满足要求, dja ...
python编写请求参数带文件_python requests 库请求带有文件参数的接口实例
有些接口参数是一个文件格式,比如fiddler 抓包参数如下显示这个接口的 form-data fiddler 显示的和不带文件参数的接口有明显区别,显示的不是简单的键值对,所以我们也不能只通过 d ...
python api开发用什么框架_python+requests接口自动化框架
为什么要做接口自动化框架 1.业务与配置的分离 2.数据与程序的分离:数据的变更不影响程序 3.有日志功能,实现无人值守 4.自动发送测试报告 5.不懂编程的测试人员也可以进行测试正常接口测试的流程 ...
python excel取数生成报告_python+requests+excel+unittest+ddt接口自动化数据驱动并生成html报告（二）...
可以参考 python+requests接口自动化完整项目设计源码(一)https://www.cnblogs.com/111testing/p/9612671.html

python requests.get无法取出网页_Python requests获取网页常用方法解析

python requests.get无法取出网页_Python requests获取网页常用方法解析相关推荐

最新文章

热门文章