最近在练习爬虫，分享一些简单入门的知识

我用的PYCharm3.5.4，安装了requests

使用requests模块发送简单的get请求、获取响应

import requests # 目标url
url = 'https://www.网页地址.com' # 向目标url发送get请求
response = requests.get(url)# 打印响应内容
print(response.text)

response的常见属性：

response.text 响应体 str类型
respones.content 响应体 bytes类型
response.status_code 响应状态码
response.request.headers 响应对应的请求头
response.headers 响应头
response.request.cookies 响应对应请求的cookie
response.cookies 响应的cookie（经过了set-cookie动作）

获取网页源码的常用方法：

response.content.decode()
response.content.decode("GBK")
response.text

以上三种方法从前往后尝试，能够100%的解决所有网页解码的问题

转载于:https://www.cnblogs.com/xkris/p/9289382.html

最近在练习爬虫，分享一些简单入门的知识相关推荐

C语言超简单入门——基础知识
C语言超简单入门--基础知识一.进制转换进制:二进制.八进制.十进制.十六进制进制的脚标: 二进制:B 如:101B 八进制:Q 如:12Q 十进制:D 如:10D 十六进制: H 如:123H ...
PHP简单入门基础知识
PHP简单入门基础知识作为一个web前端开发者第一天开始学php,整理的以下笔记,笔记并不完善,只是自我觉得和html,js有差别的地方做了下入门笔记 PHP 变量规则: 变量以 $ 符号开头,其后 ...
好程序员web前端教程分享web前端入门基础知识
好程序员web前端教程分享web前端入门基础知识,作为合格的Web前端工程师必须得掌握HTML.CSS和JavaScript.只懂其中一两个还不行,必须对这三门语言都要熟悉.下面我们一起来看一看吧! ...
python基础一入门必备知识-python基础教程#菜鸟也能看懂的超简单入门必备知识...
python基础语法教程 python一直是一门非常火爆的编程语言,从简洁的语法,全面的功能,也是得到许多编程萌新的重视,在刚刚接触编程不久的人来说,python就像是代码编程的入门语言,但其实想成为 ...
python编程入门必备知识-python基础教程#菜鸟也能看懂的超简单入门必备知识
python基础语法教程 python一直是一门非常火爆的编程语言,从简洁的语法,全面的功能,也是得到许多编程萌新的重视,在刚刚接触编程不久的人来说,python就像是代码编程的入门语言,但其实想成为 ...
一步一步学python爬虫_初学Python之爬虫的简单入门
初学Python之爬虫的简单入门一.什么是爬虫? 1.简单介绍爬虫爬虫的全称为网络爬虫,简称爬虫,别名有网络机器人,网络蜘蛛等等. 网络爬虫是一种自动获取网页内容的程序,为搜索引擎提供了重要的数据 ...
从入门到入土：Python爬虫学习|Selenium自动化模块学习|简单入门|轻松上手|自动操作浏览器进行处理|chrome|PART01
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
音视频基本概念和FFmpeg的简单入门（新手友好+FFmpeg资料分享）
音视频基本概念和FFmpeg的简单入门基本概念容器/文件(Conainer/File): 即特定格式的多媒体文件,一般来说一个视频文件是由视频,音频,字幕等按特定的格式/规则组合到一起的,常见如: ...
【杂谈】爬虫基础与快速入门指南
今天给大家分享一下网络爬虫的基础知识,以及一些优秀的开源爬虫项目.网络爬虫主要是我们在面对新的任务,但自己又没有数据的时候,获取自己想要的数据的一种手段.因此我们有必要掌握一定的爬虫知识,从而更好的准 ...

最近在练习爬虫，分享一些简单入门的知识

我用的PYCharm3.5.4，安装了requests

使用requests模块发送简单的get请求、获取响应

response的常见属性：

最近在练习爬虫，分享一些简单入门的知识相关推荐

最新文章

热门文章