前言

时常会看见许多小伙伴在网上咨询，爬虫到底该怎么学，有什么爬虫学习路线可以参考下，我作为非专业爬虫爱好者，今天就来分享下，对于我们平时的基础爬虫或者小规模爬虫，应该掌握哪些技能、需要如何学起！

当然了，由于个人水平有限，文章中不免有不准确的地方，欢迎斧正~

学习大纲：

PS：文末有相关资料领取方式

Python基础

由于本篇主要介绍 Python 爬虫学习路线，所以对于 Python 基础知识，仅仅提取了最为基础的部分，应付基础爬虫完全够用了，当然，对于底层基础，肯定是掌握的越多、越牢固越好~

环境搭建

Python安装

开发工具 - PyCharm，VS Code

变量

定义变量

命名规则

基本数据类型

基本数据结构

字符串

列表

字典

集合

元组

流程控制

条件

循环

函数

调用函数

定义函数

函数参数

lambda 函数

面向对象编程

类和对象

访问限制

装饰器

数据采集与解析

HTTP 基本原理

URI 和 URL 统一资源定位符

HTTP&HTTPS 请求与响应

HTML 组成原理

WEB 基本原理

JavaScript&HTML&CSS

节点树与节点

Web 加载原理

静动态 Web 页面

Socket 库

基于 socket 协议的爬虫

Requests 库

requests 库的使用

cookie 与 session

模拟登录

请求头模拟

IP 代理

正则表达式

re 模块的使用

基本字符串、数字等匹配规则

贪婪与非贪婪匹配

Xpath

执行原理

节点操作

元素操作

多种采集方式

同步采集

requests

异步采集

aiohttp

aiofiles

Selenium

环境搭建 - webdriver

元素选择 - （id，css，class，xpath）

模拟登录

隐藏 selenium 特征

AJAX

Ajax 原理

Ajax 请求与响应解析

Pyppeteer

环境安装

模拟点击

执行 JS 代码

存储知识

本地文件

os 库

open 文件

读写 Excel

读写 CSV

MySQL

表结构设计

同步/异步写入 MySQL

Redis

读写操作

基本数据类型与选择

MongoDB

单一写入

批量写入

与 Pandas 结合

存储成 Pandas 数据结构

Pandas 基本操作

中间人代理

Charles

安装与配置

数据拦截

安卓模拟器

Mitmproxy

脚本编写

数据截取

代理响应

HttpCanary

基本使用

爬虫框架

Scrapy

环境搭建

组件拆解

通用爬虫

分布式爬虫 - （scrapy-redis 使用，scrapy-redis 调度器）

Crawley

Selenium

分布式部署

PySpider

反爬虫知识

信息校验型

模拟登录

Cookie 机制

用户代理

签名验证机制

header 机制

动态渲染型

页面异步加载

文本混淆型

图文混淆 - 关键信息以图片形式给出

字体反爬 - （反爬原理，编码破解）

特征识别型

访问频率限制 - （IP 代理池，搭建个人 IP 代理池）

Selenium 特征检测 - 隐藏 Selenium 特征

验证码

验证码原理

图文验证码

点选验证码

滑动验证码

其他变态验证码

JS 混淆

JS 逆向

多终端爬虫

WEB 采集

APP 采集

小程序采集

数据去重

断点采集

增量采集

以上就是整理的基础爬虫所需的学习路线，当然鉴于个人水平有限，难免有不足之处，还望不吝指教！

下面分享一些免费好用的学习资料，大家自选，还是那句话，资料在精不在多，在收藏夹里吃灰并不等于学会~

视频

学习资料

学习平台

B站
腾讯课堂
慕课网

最后

以上就是我结合个人经验，同时也参考了网上大量的视频、文章总结而成的 Python 爬虫学习路线，确实非常的不容易，如果大家觉得满意请务必点个赞 + 关注支持下。

想要领取资料的小伙伴，可以扫描下方二维码回复【python爬虫】即可免费领取！

yyds，Python爬虫从小白到Bigboss全套学习路线+视频+资料相关推荐

零基础学Python 开篇--第0节：全套学习路线
Python入门这些你必须要知道!
22岁转行新手学了34天Python还没入门的原因：学习路线不对！
22岁转行新手学了34天Python还没入门的原因:学习路线不对! 得知这样的情况,22岁的他着急了,因为即将面临毕业,又浪费了34天!浪费不起!希望大家都不会再遭遇这样的事,这里为大家奉上高凊学习路 ...
java新人培训_Java新人学习必要的步骤以及全套学习路线！
原标题:Java新人学习必要的步骤以及全套学习路线! 想学Java,刚开始有没有觉得无从下手呢?其实Java的基础知识点,并不多,但是一定要吃透,因为这是为后续核心的学习打下一个良好的基础.简单来说, ...
post python爬虫_小白学 Python 爬虫（17）：Requests 基础使用
人生苦短,我用 Python 如果我的文章对您有帮助,请关注支持下作者的公众号:极客挖掘机,您的关注,是对小编坚持原创的最大鼓励:) 前文传送门: 小白学 Python 爬虫(1):开篇小白学 Py ...
Python爬虫从小白到高手各种最新案例！ Urllib Xpath JsonPath BeautifulSoup
Urllib 1.什么是互联网爬虫? 如果我们把互联网比作一张大的蜘蛛网,那一台计算机上的数据便是蜘蛛网上的一个猎物,而爬虫程序就是一只小蜘蛛,沿着蜘蛛网抓取自己想要的数据解释1:通过一个程序,根据 ...
Python爬虫实战之王者荣耀全套皮肤采集~
导语: 哈喽吖!铁汁们.王者荣耀这款手游,想必大家都玩过或听过,虽已运营7年,但热度依然不减当年,各种英雄配上各式各样的皮肤,甚是精美, 今天就教大家如何利用几行Python代码爬取王者荣耀全套皮肤~ ...
关于Python爬虫，一条高效的学习路径
数据是创造和决策的原材料,高质量的数据都价值不菲.而利用爬虫,我们可以获取大量的价值数据,经分析可以发挥巨大的价值,比如: 豆瓣.知乎:爬取优质答案,筛选出各话题下热门内容,探索用户的舆论导向. 淘宝 ...
测试学python路线_小蜗分享：Python测试开发全套学习路线
该楼层疑似违规已被系统折叠隐藏此楼查看此楼第一阶段:专业基础课程阶段目标: 1. 熟练掌握IT核心技术:编程,数据库,操作系统,版本控制 2. 能够熟练运用所学技术搭建各类服务器环境 3. 深入 ...
python测试开发课程_小蜗分享：Python测试开发全套学习路线
该楼层疑似违规已被系统折叠隐藏此楼查看此楼第一阶段:专业基础课程阶段目标: 1. 熟练掌握IT核心技术:编程,数据库,操作系统,版本控制 2. 能够熟练运用所学技术搭建各类服务器环境 3. 深入 ...
关于Python爬虫的一条高效的学习路径
数据是创造和决策的原材料,高质量的数据都价值不菲.而利用爬虫,我们可以获取大量的价值数据,经分析可以发挥巨大的价值,比如: 豆瓣.知乎:爬取优质答案,筛选出各话题下热门内容,探索用户的舆论导向. 淘宝 ...

yyds，Python爬虫从小白到Bigboss全套学习路线+视频+资料

前言