【爬虫系列】Python如何实现进度条效果?

一、需求

在爬取数据过程中，发现不看输出日志是不知道当前的爬取进度，而单纯靠控制台输出日志信息也不方便判断。因此，就想办法给爬取过程加个进度条，实时展示当前的爬取进度。

有了这个需求和想法之后，那如何实现呢？目前有两类实现显示进度条的方案，一种是使用 Python 内置模块，比如 time 模块；另一种是引入第三方专用模块，比如 tqdm 模块，alive-progress 模块等。

二、内置模块实现进度条效果

1、简单进度条

import sys, timedef test_simple():for i in range(1, 101):print("\r", end="")print(f"当前爬取进度：{i}%:", "▋" * (i // 2), end="")sys.stdout.flush()time.sleep(0.05)

测试效果：

2、带时间进度条

import timedef test_with_time():scale = 50start = time.perf_counter()for i in range(scale + 1):progress = "▋" * ipoint = "." * (scale - i)c = (i / scale) * 100during = time.perf_counter() - startprint("\r{:^3.0f}%【{}->{}】{:.2f}s".format(c, progress, point, during), end="")time.sleep(0.1)

测试效果：

三、第三方模块实现进度条效果

1、tqdm模块

tqdm 是专门用于快速生成进度条的模块，使用前先下载该模块：

pip install tqdm

实现代码：

import time
from tqdm import tqdmdef test_tqdm():# tqdm构造器内放入可迭代的对象for i in tqdm(range(1, 101)):# do somethingstime.sleep(0.1)

测试效果：

2、alive-progress模块

官网描述：alive-progress 是一个实时展示进度，具有非常酷炫动画效果的进度条工具。

先下载该模块：

pip install alive-progress

实现代码：

from alive_progress import alive_bardef test_alive_progress(task_num, totals, sleep_time):for i in range(task_num):  # 定义任务数with alive_bar(totals, bar='blocks', title=f'Task {i + 1}') as bar:for i in range(totals):time.sleep(sleep_time)bar()test_alive_progress(5, 150, 0.02)

测试效果：

参考了官网的文档，说是运行过程中会有动画效果（实操过程中并未看到呢？）！！

3、其他模块（了解）

3.1 progress模块：Easy progress reporting for Python!

官网地址：progress · PyPI

3.2 PySimpleGUI模块：是一款基于GUI界面展示工具，功能强大，可用于进度条展示。

官网地址：

PySimpleGUI · PyPI

四、总结

其实，第三方模块实现显示进度条功能，底层也是基于内置模块的第二种方式。因此，这里不打算使用第三方库实现进度条，而是采用内置模块实现，选择第二种，并嵌入到代码中。

接下来，将我之前爬取天气数据的方法 operate_selenium() 改造一下，代码如下：

def common_selenium(url, citys, path):scale = len(citys)start = time.perf_counter()  # 起始计时点for i in range(len(citys) + 1):# 进度条相关计算progress = "▋" * ipoint = "." * (scale - i)c = (i / scale) * 100# 最后一次列表不存在元素，避免异常，不执行if i == scale:passelse:browser = webdriver.Chrome()  # 使用谷歌浏览器browser.maximize_window()  # 窗口最大化browser.get(url)  # get请求天气网地址time.sleep(2)# 搜索指定城市天气today_weathers = operate_selenium(browser, citys, pos=i, path=path)# print(f'city:{citys[i]},today_weathers:{today_weathers}')write_log(today_weathers, citys[i], path)# 休眠5s,再关闭浏览器time.sleep(5)browser.quit()# 进度条实时显示during = time.perf_counter() - startprint("\r{:^3.0f}%[{}->{}]{:.2f}s".format(c, progress, point, during), end="")time.sleep(0.01)

循环爬取城市列表，当爬取到某一座城市的天气信息时，天气数据获取的进度如下：

25 %[▋->...]34.66s

50 %[▋▋->..]51.63s

100%[▋▋▋▋->]69.58s

这下看进度就清晰多了~