requests库通过get()获取网页内容

#get()是获取网页最常见的方式
import requests####################################第一步#######################################在调用requests.get()函数之后，返回的网页内容会保存为一个Response对象
#get()函数的参数URL链接必须采用HTTP或HTTPS方式访问
response = requests.get("http://www.baidu.com")print(type(response))    #通过type()来查看返回response对象的类别
#结果：<class 'requests.models.Response'>#返回的状态码，200：连接成功，404：连接失败
status_code = response.status_code
print(status_code)#返回的内容
text = response.text
print(text)#HTTP响应内容的编码方式
encoding = response.encoding
print(encoding)#修改编码方式为utf-8
encoding1 = response.encoding = 'utf-8'
print(encoding1)#更改完成之后，返回内容中的中文字符就可以正常显示了
text1 = response.text
print(text1)####################################第二步#######################################写一个读取网页内容的函数def getHtmlText(url):try:r = requests.get(url, timeout = 30)r.raise_for_status() #返回的状态码不是200的时候，引发异常；只要在收到响应的时候调用这个方法，就可以避开状态码200以外的各种意外情况r.encoding = 'utf-8'return r.textexcept:return ""
#测试
url = "http://www.baidu.com"
print("函数测试输出：\n",getHtmlText(url))

requests库通过get()获取网页内容相关推荐

0.爬虫介绍及requests库的使用
1. 互联网知识介绍互联网: 是由网络设备(网线, 路由器, 交换机, 防火墙...)和一台台计算机链接而成. 互联网建立的目的: 数据的共享/传递. 俗称的'上网': 由用户端计算机发送请求给目标 ...
爬虫之基本原理及简单使用、请求库之requests库及小案例
文章目录 1.基本原理及简单使用 1.1.定义 1.2.爬虫的基本流程 1.3.请求与响应 1.4.Request 1.5.Response 1.6.总结 2.请求库之requests库 2.1.基本 ...
Python 网络爬虫与信息获取（一）—— requests 库的网络爬虫
1. 安装与测试进入 cmd(以管理员权限),使用 pip 工具,pip install requests 进行安装: 基本用法: >> import requests >> ...
python+selenium获取cookie session_Python Selenium模拟登录成功后，使用此cookie、利用requests库进行get时，提示“非法登陆”。...
一. 步骤概述 a. 模拟登录学校选课系统(使用Selenium库登陆http://xk.suibe.edu.cn/xsxk/login.xk) b. 取得cookie后传入requests的sess ...
Python用requests库+BeautifulSoup库+re库获取微博热搜（有详解）
Python用requests库+BeautifulSoup库+re库获取微博热搜 import requests from bs4 import BeautifulSoup import re de ...
python中使用requests库获取昵图网图片，且正则中re.S的用法
python中使用requests库获取图片,且正则表达式中re.S的用法以及r.text和r.content的区别和搜索关键词这里我获取的是昵图网的图片代码附上这里我获取的是2020的图片 i ...
python获取网页json返回空_Python用requests库爬取返回为空的解决办法
首先介紹一下我們用360搜索派取城市排名前20. 我们爬取的网址:https://baike.so.com/doc/24368318-25185095.html 我们要爬取的内容: html字段: r ...
python使用requests库获取网页的内容
网站地址:https://www.k374.com/index.php 网站内容如下: 第一步导入requests库,使用它访问网页获取到源代码内容如下: import requests r = r ...
requests库请求获取不到数据怎么办？不妨试试看这种妙法
下次点击上方"Python爬虫与数据挖掘",进行关注回复"书籍"即可获赠Python从入门到进阶共10本电子书今日鸡汤荷笠带斜阳,青山独归远. 大家 ...

requests库通过get()获取网页内容

requests库通过get()获取网页内容相关推荐

最新文章

热门文章