Python爬虫教程（四）

2024-05-10 16:47:09

一、线程、进程、协程的概念

线程：是进程的一个执行单元，是进程内可调度实体。比进程更小的独立运行的基本单位。线程也被称为轻量级进程。

进程：是并发执行的程序在执行过程中分配和管理资源的基本单位，是一个动态概念，竞争计算机系统资源的基本单位。

协程：是一种比线程更加轻量级的存在。一个线程也可以拥有多个协程。其执行过程更类似于子例程，或者说不带返回值的函数调用。

二、多线程

1.单线程：两个部分的任务，执行完前面再执行后面任务。

2.多线程

通过输出结果，可以看到两个线程是同时进行任务的，但任务执行由CPU决定（可以创建多个线程）。

3.第二种多线程方法

其输出结果与第一种方式类似，可通过结果看出两个线程在同时工作。
4.建立多个子线程。

三、多进程

其逻辑与多线程逻辑基本相同。

四、线程池及进程池

我们可通过线程池和进程池进行多个线程或进程的并行运算。

1.线程池

2.进程池

五、协程

1.协程：协程是比线程更小的一种执行单元，你可以认为是轻量级的线程，当程序遇见IO操作时，可以选择切换到其他任务上，更适合于用来实现彼此熟悉的程序组件，如合作式多任务，迭代器，无限列表和管道。

微观上是一个任务一个任务进行切换，切换条件是IO操作；宏观上为多个任务一起执行（多任务异步操作）。
2.异步协程及同步操作。

同步操作输出结果：运行时间9秒，基本为等待时间。

异步操作：

异步操作输出结果：4秒的时间基本为最长等待时间，两个时间对比可看出异步操作为同时启动多个任务。

3.使用异步协程实战下载优美图库图片，选择三张图片下载地址进行简单的下载，学习aiohttp模块的应用，与requests模块进行对比。

输出结果：

4.实战爬取百度小说西游记全文。

其页面源代码中没有小说内容，打开开发者工具，点击查看全部章节。

找到标题内容及标题内容所在链接。下面寻找小说具体内容及内容所在链接，点击任意一章进入。

下面进行小说内容爬取，小说内容较多，我们使用异步协程的方式进行爬取，通过book_id、c_id进行传参，可通过修改book_id即可爬取百度小说中其他小说的内容。

Python爬虫教程（四）相关推荐

python爬虫抓取图片-简单的python爬虫教程：批量爬取图片
python编程语言,可以说是新型语言,也是这两年来发展比较快的一种语言,而且不管是少儿还是成年人都可以学习这个新型编程语言,今天南京小码王python培训机构变为大家分享了一个python爬虫教程. ...
无敌python爬虫教程学习笔记（一）
python爬虫系列文章目录无敌python爬虫教程学习笔记(一) 无敌python爬虫教程学习笔记(二) 无敌python爬虫教程学习笔记(三) 无敌python爬虫教程学习笔记(四) 本文目录 ...
无敌python爬虫教程学习笔记（二）
系列文章目录无敌python爬虫教程学习笔记(一) 无敌python爬虫教程学习笔记(二) 无敌python爬虫教程学习笔记(三) 无敌python爬虫教程学习笔记(四) 手刃一个小爬虫系列文章目 ...
Python爬虫教程-16-破解js加密实例（有道在线翻译）
python爬虫教程-16-破解js加密实例(有道在线翻译) 在爬虫爬取网站的时候,经常遇到一些反爬虫技术,比如: 加cookie,身份验证UserAgent 图形验证,还有很难破解的滑动验证 js签 ...
菜鸟弟弟从零开始的爬取Bilibili弹幕的Python爬虫教程-哔哩哔哩 - ( ゜- ゜)つロ干杯~
从零开始的爬取Bilibili弹幕的Python爬虫教程或许可以作为一个爬虫小白的练手的demo? 还是先看看什么是爬虫吧!(还有Bilibili! ) 网络爬虫: 网络爬虫(又称为网页蜘蛛,网络机 ...
python爬虫设计在哪里_《python 爬虫教程知乎》怎样用Python设计一个爬虫模拟登陆知乎...
<python 爬虫教程知乎> 怎样用Python设计一个爬虫模拟登陆知乎 python 爬虫教程知乎2020-09-23 01:45:13人已围观怎样用Python设计一个爬虫模拟 ...
不跳步骤的新手python爬虫教程（一）
代码不是看出来的,而是敲出来的,建议关注公众号,收藏教程,跟着步骤练习爬虫,成为真正的Spider Man. Python同C.Java一样都是计算机程序设计语言,python语言作为高级语言可以写网 ...
python 爬虫实例电影-Python爬虫教程-17-ajax爬取实例（豆瓣电影）
Python爬虫教程-17-ajax爬取实例(豆瓣电影) ajax: 简单的说,就是一段js代码,通过这段代码,可以让页面发送异步的请求,或者向服务器发送一个东西,即和服务器进行交互对于ajax: ...
爬虫python代码-Python爬虫教程：200行代码实现一个滑动验证码
Python爬虫教程:教你用200行代码实现一个滑动验证码做网络爬虫的同学肯定见过各种各样的验证码,比较高级的有滑动.点选等样式,看起来好像挺复杂的,但实际上它们的核心原理还是还是很清晰的,本文章大 ...
下载 | 9G火爆的Python爬虫教程+ 520页《图解机器学习》
前段时间,小伙伴多次在后台留言询问Python爬虫教程的问题.经过这两个多月以来的收集与整理,汇集了多个高校以及公开课视频教程,包括python爬虫的入门.进阶与实践,共9G左右.爬虫作为机器学习语料 ...

最新文章

热门文章