python爬虫原理-python学习之python爬虫原理

原标题：python学习之python爬虫原理

今天我们要向大家详细解说python爬虫原理，什么是python爬虫，python爬虫工作的基本流程是什么等内容，希望对这正在进行python爬虫学习的同学有所帮助!

前言

简单来说互联网是由一个个站点和网络设备组成的大网，我们通过浏览器访问站点，站点把HTML、JS、CSS代码返回给浏览器，这些代码经过浏览器解析、渲染，将丰富多彩的网页呈现我们眼前;

一、爬虫是什么?

如果我们把互联网比作一张大的蜘蛛网，数据便是存放于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛，

沿着网络抓取自己的猎物(数据)爬虫指的是：向网站发起请求，获取资源后分析并提取有用数据的程序;

从技术层面来说就是通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据(图片、视频) 爬到本地，进而提取自己需要的数据，存放起来使用;

在学习python中有任何困难不懂的可以加入我的python交流学习QQ群：629614370多多交流问题，互帮互助，群里有不错的学习教程和开发工具。学习python有任何问题（学习方法，学习效率，如何就业），可以随时来咨询我。

二、爬虫的基本流程：

用户获取网络数据的方式：

方式1：浏览器提交请求--->下载网页代码--->解析成页面

方式2：模拟浏览器发送请求(获取网页代码)->提取有用的数据->存放于数据库或文件中

爬虫要做的就是方式2;

1、发起请求

使用http库向目标站点发起请求，即发送一个Request

Request包含：请求头、请求体等

Request模块缺陷：不能执行JS 和CSS 代码

2、获取响应内容

如果服务器能正常响应，则会得到一个Response

Response包含：html，json，图片，视频等

3、解析内容

解析html数据：正则表达式(RE模块)，第三方解析库如Beautifulsoup，pyquery等

解析json数据：json模块

解析二进制数据:以wb的方式写入文件

4、保存数据

数据库(MySQL，Mongdb、Redis)

文件

三、http协议请求与响应

Request：用户将自己的信息通过浏览器(socket client)发送给服务器(socketserver)

Response：服务器接收请求，分析用户发来的请求信息，然后返回数据(返回的数据中可能包含其他链接，如：图片，js，css等)

ps：浏览器在接收Response后，会解析其内容来显示给用户，而爬虫程序在模拟浏览器发送请求然后接收Response后，是要提取其中的有用数据。

四、 request

1、请求方式：

常见的请求方式：GET / POST

2、请求的URL

url全球统一资源定位符，用来定义互联网上一个唯一的资源例如：一张图片、一个文件、一段视频都可以用url唯一确定

url编码

https://www.baidu.com/s?wd=图片

图片会被编码(看示例代码)

网页的加载过程是：

加载一个网页，通常都是先加载document文档，

在解析document文档的时候，遇到链接，则针对超链接发起下载图片的请求

3、请求头

User-agent：请求头中如果没有user-agent客户端配置，服务端可能将你当做一个非法用户host;

cookies：cookie用来保存登录信息

注意：一般做爬虫都会加上请求头

请求头需要注意的参数：

(1)Referrer：访问源至哪里来(一些大型网站，会通过Referrer 做防盗链策略;所有爬虫也要注意模拟)

(2)User-Agent:访问的浏览器(要加上否则会被当成爬虫程序)

(3)cookie：请求头注意携带

4、请求体

请求体

如果是get方式，请求体没有内容 (get请求的请求体放在 url后面参数中，直接能看到)

如果是post方式，请求体是format data

ps：

1、登录窗口，文件上传等，信息都会被附加到请求体内

2、登录，输入错误的用户名密码，然后提交，就可以看到post，正确登录后页面通常会跳转，无法捕捉到post

五、响应Response

1、响应状态码

200：代表成功

301：代表跳转

404：文件不存在

403：无权限访问

502：服务器错误

2、respone header

响应头需要注意的参数：

(1)Set-Cookie:BDSVRTM=0; path=/：可能有多个，是来告诉浏览器，把cookie保存下来

(2)Content-Location：服务端响应头中包含Location返回浏览器之后，浏览器就会重新访问另一个页面

3、preview就是网页源代码

JSO数据

如网页html，图片

二进制数据等

六、总结

1、总结爬虫流程：

爬取--->解析--->存储

2、爬虫所需工具：

请求库：requests,selenium(可以驱动浏览器解析渲染CSS和JS，但有性能劣势(有用没用的网页都会加载);)

解析库：正则，beautifulsoup，pyquery

存储库：文件，MySQL，Mongodb，Redis

感谢您的阅读，以上就是对python爬虫原理的一些介绍返回搜狐，查看更多

责任编辑：

python爬虫原理-python学习之python爬虫原理相关推荐

python爬取数据的原理_python学习之python爬虫原理
原标题:python学习之python爬虫原理今天我们要向大家详细解说python爬虫原理,什么是python爬虫,python爬虫工作的基本流程是什么等内容,希望对这正在进行python爬虫学习的 ...
唤醒手腕Python全栈工程师学习笔记（底层原理篇）
01.内建名称空间在Python中,有一个内建模块,该模块中有一些常用函数,变量和类. 而该内建模块在Python启动后.且没有执行程序员所写的任何代码前,Python首先会自动加载该内建模块到内存 ...
学会python编程容易吗-学习武汉Python编程培训容易吗？别人都是怎么学习的？
作为人工智能时代的首选语言,Python有着无可比拟的优势,吸引了越来越多的人前来学习.那么,学习武汉Python编程培训容易吗?那些顺利高薪就业的人都是怎么学习武汉Python编程培训的呢?下面,千 ...
软件测试python基础_软件测试学习教程——python基础
原标题:软件测试学习教程--python基础一,print()函数 print 作用:把" "内部的内容,输出到屏幕. print("hello world" ...
【python零基础入门学习】Python入门，带你快速学习为什么那么多人想学 Python？
最近,网上流传一组<人工智能实验教材>的图片,照片火起来的原因是教材是为幼儿园的小朋友们设计的! [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aJF1cH ...
【python零基础入门学习】Python入门，带你快速学习Python 基础语法
ython 语言与 Perl,C 和 Java 等语言有许多相似之处.但是,也存在一些差异. 在本章中我们将来学习 Python 的基础语法,让你快速学会 Python 编程. 第一个 Python ...
【python零基础入门学习】Python入门，带你快速学习，Python 环境搭建
我们将向大家介绍如何在本地搭建Python开发环境. Python可应用于多平台包括 Linux 和 Mac OS X. 你可以通过终端窗口输入 "python" 命令来查看本地是 ...
python百度翻译爬虫_Python的学习价值,python,爬,取,百度,翻译
# 功能: 进行爬虫项目编写 # 开发时间: 2020/10/26 10:12 import requests import json if __name__ == '__main__': #进行UA ...
python适合零基础学习吗-Python适合不适合零基础学习呢?老男孩教育
Python适合不适合零基础人员学习?Python是一门比较高级流行的变成语言,该语言是非常适合零基础人员学习的,也是初学者的首选.很多人可能编程很难,所以在没有学习之前就觉得难以学习好,其实只要你愿 ...
python rpa_（RPA学习）Python 之 Pathlib 模块
原标题:(RPA学习)Python 之 Pathlib 模块艺赛旗 RPA9.0全新首发免费下载点击下载 http://www.i-search.com.cn/index.html?from=li ...

python爬虫原理-python学习之python爬虫原理

python爬虫原理-python学习之python爬虫原理相关推荐

最新文章

热门文章