python中两个文件如何互相传参_argparse模块如何在jupyter notebook中用于传参？

作者：于晨晨
研究方向：nlp
发表于公众号：AI技术日常

在python代码文件中，通常需要传参，传参就需要经常使用argparse。使用argparse模块在py文件中是正常的，但是jupyter notebook就会报错。那么怎么避免在jupyter notebook中报错？怎么将命令行执行文件时的参数传递进来呢？报错的具体原因是什么呢？

一、使用命令行执行文件

假定一个python文件，test.py，具体代码如下：

import argparseparser = argparse.ArgumentParser()
parser.add_argument('--device', default='0,1', type=str, help='设置使用哪些显卡')
parser.add_argument('--no_cuda', action='store_true', help='不适用GPU进行训练')
args = parser.parse_args()
print(args)

在命令行执行命令：

python test.py --device 0 --no_cuda

得到正确的运行结果：

Namespace(device='0', no_cuda=True)

上面执行命令即使不传入参数，也可以正确的运行。传入参数，得到传入参数的正确结果。

二、使用jupyter notebook运行代码报错

使用jupyter notebook运行此代码，会得到下面的错误：

usage: ipykernel_launcher.py [-h] [--device DEVICE] [--no_cuda]
ipykernel_launcher.py: error: unrecognized arguments: -f /dfsdata2/yucc1_data/.husky_cache/app_yucc1_1589251364792/jupyterlab_data_dir/runtime/kernel-3e12adb6-7cd2-4eb9-b037-7e867f166133.json
An exception has occurred, use %tb to see the full traceback.SystemExit: 2

使用的具体情况截图如下图图1所示。其中有个明显的问题，第一个问题是运行读代码报错如何解决，第二个问题是如果我们需要传入参数，怎么办？

图1：在jupyter notebook运行同样代码出错的截图。有两个问题，一个是代码出错，一个是命令行的参数如何传递进去？

三、使用jupyter notebook报错及传参的解决办法

解决方法很简单，通过在parser.parse_args()传入args一个参数列表就可以了。以命令行的参数为例，也就是将parser.parse_args()变为 parser.parse_args(args=['--device', '0', '--no_cuda'])就不会报错，且参数传入了。

也就是，在jupyter notebook中具体代码改为下面的就可以正常传入参数运行了：

import argparseparser = argparse.ArgumentParser()
parser.add_argument('--device', default='0,1', type=str, help='设置使用哪些显卡')
parser.add_argument('--no_cuda', action='store_true', help='不适用GPU进行训练')
args = parser.parse_args(args=['--device', '0',  '--no_cuda'])
print(args)

正确运行截图：

图2：正确运行截图。传入了参数，且不会报错。

四、出错的原因及原理

我们做一件事，不仅要知其然，而且要知其所以然。我们再回到图1的报错，提示的错误是:

usage: ipykernel_launcher.py [-h] [--device DEVICE] [--no_cuda]
ipykernel_launcher.py: error: unrecognized arguments: -f /dfsdata2/yucc1_data/.husky_cache/app_yucc1_1589251364792/jupyterlab_data_dir/runtime/kernel-3e12adb6-7cd2-4eb9-b037-7e867f166133.json
An exception has occurred, use %tb to see the full traceback.

这个错误是未识别的参数： -f 和 /dfstata2/yucc1_data这两个参数。

我们来看看，在命令运行与在jupyter notebook中运行的区别。可以通过链接https://github.com/python/cpython/blob/3.8/Lib/argparse.py看argparse模块的源码，也可以通过在jupyter中输入两个问号，查看对应的源码。图3是在jupyter中输入两个问号，查看对应函数的源码。

图3：我们调用parse_args函数的源码，parse_args又调用了parse_known_args函数，这里也有parse_known_args

通过图3，我们可以看到我们调用parse_args解析参数的时候，图中1处是调用另一个函数parse_known_args，这个函数图中2处的处理，这里的处理是优先判断args参数是否有值，如果args有值，会将args变为一个list，处理后的args也是一个list。

在jupyter和命令行中，这二者都不传入args参数的情况下，args就是None，也就是会得到 _sys.argv[1:]，这个_sys是就是sys模块，_sys.argv[1:]对于命令行来说，得到的是所有的命令行参数，其中sys.argv[0]是文件名。而对于jupyter执行的时候，默认的sys.argv[1:]就不是，而是有默认的list。

可以运行以下代码查看：

import sys as _sys
print(_sys.argv[1:])

得到的结果如下图：

图4：jupyter的sys.argv有默认值两个，而在命令行中没有，这就是出错的原因。可以看到图1中出错的参数正是这两个参数，他们不识别。

可以看到在jupyter中，sys.argv[1:]是有两个默认值，这两个默认值正是出错的原因。在命令行中执行上面的代码结果是空。怎么去修正这个问题呢？很简单，就是图3的第2处看到，系统是优先传入的args参数的，所以我们这里将需要解析的参数通过args参数传入，就能正常识别了。

五、总结

在jupyter notebook中，使用argparse模块调用parse_args函数及parse_know_args函数出错的原因是，因为在命令行中传入的参数_sys.args[1:]默认是对应的参数是空，而在jupyter中有两个默认的参数。

修复的方法也很简单，只要将将parser.parse_args()变为 parser.parse_args(args=['--device', '0', '--no_cuda'])类似的方式，将参数以list的方式传入args参数即可，同样的操作也适合parser.parse_known_args()函数。