Python爬虫：常用的爬虫工具汇总

按照网络爬虫的的思路：

#mermaid-svg-YOkYst4FalQf6wUn {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-YOkYst4FalQf6wUn .error-icon{fill:#552222;}#mermaid-svg-YOkYst4FalQf6wUn .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-YOkYst4FalQf6wUn .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-YOkYst4FalQf6wUn .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-YOkYst4FalQf6wUn .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-YOkYst4FalQf6wUn .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-YOkYst4FalQf6wUn .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-YOkYst4FalQf6wUn .marker{fill:#333333;stroke:#333333;}#mermaid-svg-YOkYst4FalQf6wUn .marker.cross{stroke:#333333;}#mermaid-svg-YOkYst4FalQf6wUn svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-YOkYst4FalQf6wUn .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-YOkYst4FalQf6wUn .cluster-label text{fill:#333;}#mermaid-svg-YOkYst4FalQf6wUn .cluster-label span{color:#333;}#mermaid-svg-YOkYst4FalQf6wUn .label text,#mermaid-svg-YOkYst4FalQf6wUn span{fill:#333;color:#333;}#mermaid-svg-YOkYst4FalQf6wUn .node rect,#mermaid-svg-YOkYst4FalQf6wUn .node circle,#mermaid-svg-YOkYst4FalQf6wUn .node ellipse,#mermaid-svg-YOkYst4FalQf6wUn .node polygon,#mermaid-svg-YOkYst4FalQf6wUn .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-YOkYst4FalQf6wUn .node .label{text-align:center;}#mermaid-svg-YOkYst4FalQf6wUn .node.clickable{cursor:pointer;}#mermaid-svg-YOkYst4FalQf6wUn .arrowheadPath{fill:#333333;}#mermaid-svg-YOkYst4FalQf6wUn .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-YOkYst4FalQf6wUn .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-YOkYst4FalQf6wUn .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-YOkYst4FalQf6wUn .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-YOkYst4FalQf6wUn .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-YOkYst4FalQf6wUn .cluster text{fill:#333;}#mermaid-svg-YOkYst4FalQf6wUn .cluster span{color:#333;}#mermaid-svg-YOkYst4FalQf6wUn div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-YOkYst4FalQf6wUn :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}

页面下载

页面解析

数据存储

将工具按照以上分类说明，按照学习路线顺序给出参考文章

一、页面下载器

requests(必学)
1. python爬虫入门requests模块
2. Python爬虫：requests库基本使用
3. Python爬虫：使用requests库下载大文件
4. Python爬虫：requests多进程爬取猫眼电影榜单
5. requests InsecureRequestWarning: Unverified HTTPS request is being made.
scrapy
1. Python网络爬虫之scrapy框架
2. scrapy学习
3. Python爬虫：关于scrapy模块的请求头
4. Python爬虫：scrapy框架请求参数meta、headers、cookies一探究竟
5. Python爬虫：scrapy辅助功能实用函数
selenium+chrome + PhantomJS(抓取动态网页，不推荐)
1. mac下安装selenium+phantomjs+chromedriver
2. Python爬虫：selenium模块基本使用
3. Python爬虫selenium模块
4. Python爬虫：selenium和Chrome无头浏览器抓取烯牛数据动态网页
5. Python爬虫：利用selenium爬取淘宝商品信息
6. Python爬虫：selenium使用chrome和PhantomJS实用参数
Splash(抓取动态网页，推荐)
1. Python爬虫：splash的安装与简单示例
2. Python爬虫：splash+requests简单示例
3. Python爬虫：scrapy利用splash爬取动态网页

总结：
对于下载器而言，python自带的urllib就不要花时间去学了，学了就忘，直接requests能满足大部分测试+抓取需求，进阶工程化scrapy，动态网页优先找API接口，如果有简单加密就破解，实在困难就使用splash渲染

二、页面解析器

BeautifulSoup(入门级)
1. Python爬虫入门BeautifulSoup模块
pyquery （类似jQuery）
1. Python爬虫：pyquery模块解析网页
lxml
1. Python爬虫：使用lxml解析网页内容
parsel
1. Extract text using CSS or XPath selectors
scrapy的Selector (强烈推荐, 比较高级的封装，基于parsel)
1. 选择器(Selectors)
2. python爬虫：scrapy框架xpath和css选择器语法

总结：
其实解析器学习一个就够了，其他都不用学，很多培训会教你从上到下的学习，我不是很推荐，直接学习scrapy的Selector 就行，简单、直接、高效

三、数据存储

txt文本
- Python全栈之路：文件file常用操作
csv文件
- python读取写入csv文件
sqlite3 （python自带）
- Python编程：使用数据库sqlite3
MySQL
- SQL：pymysql模块读写mysql数据
MongoDB
- Python编程：mongodb的基本增删改查操作
Redis
- Python编程：redis缓存数据库
- python爬虫：scrapy-redis实现分布式爬虫

总结：
数据存储没有什么可深究的，按照业务需求来就行，一般快速测试使用MongoDB，业务使用MySQL

四、其他工具

execjs ：执行js
Python爬虫：execjs在python中运行javascript代码
pyv8: 执行js
mac安装pyv8模块-JavaScript翻译成python
html5lib
1. Python爬虫：scrapy利用html5lib解析不规范的html文本

五、关于xpath练习

本人的一个开源项目：PageParser
https://github.com/mouday/PageParser
用于解析网页，最终实现6行代码写爬虫，可以贡献代码，顺便练习网页解析的能力