别再吐槽 notebook！分享4个解决版本控制的高效工具！

在探索性数据分析和机器学习开发等任务时，Jupyter notebook 是大多数数据科学家的首选。在可视化图形、表格输出以及丰富注释的能力方面，其他开发工具是无法比拟的。

Jupyter notebook 在编程社区中也经常被吐槽。乔尔·格鲁斯在 2018 年的 JupyterCon 上发表了著名的"我不喜欢 notebook"的演讲，究其原因在于因为它难以进行版本控制，并且测试和调试可能很棘手。

在本文中，我将简要介绍四种可以解决上述痛点的工具。包括：

Nbdime 以获得更好的版本控制。
使用 nbQA 在笔记本代码上运行 linter。
Jupyter-nbrequirements 用于管理 Notebook 中的依赖项。
使用 nbval 进行 Notebook 验证。

1、Nbdime 用于更好的版本控制使用

使用 Github 等工具对 notebook 进行版本控制可能很困难。版本控制工具不能很好地呈现差异，因为它们不了解 notebook 的逻辑结构。这会使跟踪更改和合并代码变得具有挑战性。

Nbdime 是一个非常棒的工具，旨在通过提供更丰富的视觉差异来解决这个问题，很容易区分同一代码在不同版本之间的变化。

Nbdime 可以通过 pip 安装。

pip install nbdime

如果上述安装不正确，你可以使用以下命令手动执行此操作，添加标志之一以确定它是为哪些用户安装的–system（系统范围）、–user（当前用户）、–sys-prefix（当前虚拟环境）。

nbdime extensions --enable [--sys-prefix/--user/--system]

则安装所有内容后，在工具栏中现在应该可以使用以下新图标。

我创建了一个 notebook 来展示 nbdime 的功能，如下是波士顿房价数据集上训练一个简单的线性模型。这是我存储在 Github 存储库中的项目的一部分。

我将对 notebook 进行一些更改，并使用 Web 视图查看与上次提交的差异。单击 git 按钮将显示上次提交与当前保存的笔记本版本之间的差异。

正如从下图中所看到的，nbdime 逐行和逐个单元地显示了自上次提交以来发生的确切变化。它甚至显示了每个单元格的输出如何变化，包括图形。

2、使用 nbQA 进行校对

Linting 是检查代码质量的过程。一个 linting 工具扫描代码并检查常见的样式错误。例如，Python linter通常检查不符合广泛使用的样式指南（如Pep8）的代码。

NbQa是一个允许你在Jupyter notebook上运行任何标准python linter的工具。当前可通过此工具访问以下：pylint、black、auto flake、check ast、doctest、flake8、mypy和yapf。

要安装，只需运行以下命令。

pip install nbqa

让我们在我最近创建的笔记本上运行pylint，这是一种常用的 python linter。需要在命令行上运行以下命令。

$ nbqa pylint dataframe_basics.ipynb

这给了我标准的 pylint 输出，它突出显示了我的代码中的错误。

3、使用 jupyter-nbrequirements 管理依赖

在使用 notebook 处理每个项目可能需要一组不同的依赖项。传统上，这些是在 Jupyter notebook 之外使用虚拟环境进行管理的。

Jupyter nbrequirements 是一种工具，可让你管理依赖项并创建一个单独且优化的环境，所有这些都在 notebook 中进行管理。

使用 pip 安装库并使用下面显示的命令启用 notebook 扩展。

$ pip install jupyter-nbrequirements
$ jupyter nbextension install --user --py jupyter_nbrequirements

你可以使用魔法命令或使用 notebook 顶部的 UI 在笔记本中安装库。

要使用 cell magic 安装诸如 pandas 之类的库，只需在笔记本单元中键入以下内容即可。

%dep add pandas --version ">=0.24.0"

4、使用 nbval 进行 Notebook 验证

如本文前面所述，Notebook 通常用于探索性分析和模型的初始开发。通常，将这种类型的分析和初始项目开发存储起来是很有用的，既可以用于文档编制，也可以在以后的某个时候基于这项工作的发现进行构建。

py.test插件nbval，是验证存储的有用工具。Nbval将自动运行 Notebook 中的每个单元格，并检查当前输出是否与上次保存的.ipynb文件版本中存储的输出匹配。这起到了检查底层源代码中没有任何更改的作用，因此验证了原始分析或实验的结果仍然是可靠的。

要使用此工具，请先通过以下命令进行安装。

pip install nbval

可以通过运行以下命令对目录中包含的所有文件执行测试。

py.test --nbval

或者通过运行这行代码在 Notebook 上。

py.test ---notebook-name.ipynb

我在我现有的两个 Notebook 上运行了 py.test。第一次运行没有错误并给出以下输出。

下面给出了一个笔记本中测试失败的例子。

总结

尽管 Notebook 经常用于探索性分析和初始模型开发，而不是用于产品代码，但它仍然应该被视为一个重要的工作存储库。最初的实验和分析是对过去结果的有用记录，应该可以在以后的某一天回到 Notebook 上，在你的工作的基础上继续。因此，值得探索一些工具，这些工具有助于提高 Notebook 中编写的代码的健壮性和可复制性。

本文介绍了四种工具，它们可以帮助 Notebook 中的代码变得更好、更可重用。更多关于notebook的资料，可以参阅我以前的文章。

技术交流

欢迎转载、收藏本文，码字不易，有所收获点赞支持一下！

为方便进行学习交流，本号开通了技术交流群，添加方式如下：

直接添加小助手微信号：pythoner666，备注：CSDN+python，或者按照如下方式添加均可！