python3基础知识复习 -- 虚拟环境(conda VS venv)

虚拟环境(conda vs venv)

conda创建虚拟环境

base环境

打开anaconda prompt或Linux/MacOS终端时，缺省环境为base。

创建：

conda create --name python38-env python=3.8

如果不指定后面的python=3.8 则只是一个系统的基本模块。然后，可以根据需要安装所需的模块。

一个是conda相比virtualenv/venv最重要的一点，因为在用virtualenv/venv时环境中Python的版本受系统Python版本的限制，而在使用conda时，环境里Python的版本则不受系统Python版本的限制。

列举：

conda info -e # or conda env list

激活：

conda activate scrapy-env

这里我们要安装的是网络爬虫模块Scrapy，安装Scrapy是使用conda的一个很好的例子。因为Scrapy有很复杂的库依赖，在Windows上用pip安装时经常会出现问题，所以在Windows上推荐使用conda来安装Scrapy。

conda install -n <env_name> --channel conda-forge scrapy （默认最新版）

conda install -n <env_name> --channel conda-forge scrapy=2.4 （指定版本）

–channel指定的是该模块所来自的频道，常见的频道有anaconda和conda-forge，如果不指定频道，则默认从anaconda频道安装。

如果我们需要更新某个模块，则可以使用，同样，在更新模块时，也需要指定频道，因为不同频道里面相同模块的最新版本可能会不一样。

conda update --channel conda-forge scrapy

复制环境

我们可以将环境中的模块设置导出到文件

conda list --explicit > conda-requirements.txt

使用–explict在输出中会列举模块的URL，这样便于查看和后续的安装。

我们可以从配置文件中克隆一个完全一样的环境，这个和用pip从requirements.txt文件克隆环境是一样的。

conda create --name scrapy-env-clone --file conda-requirements.txt

删除环境

conda env remove --name scrapy-clone

这些所有的虚拟环境，都在...\Anaconda3\envs文件夹下。

virtualenv创建虚拟环境

1.安装virtualenv

pip install virtualenv

2.创建虚拟环境

$ mkdir myproject

$ cd myproject

$ virtualenv venv

创建了一个名为myproject的文件夹，然后这里边创建虚拟环境venv。注意venv永远是在项目目录下的，而conda则不限制。

在创建virtualenv时增加–no-site-packages 选项的virtualenv就不会读取系统包，注意如果提示virtualenv: error: unrecognized arguments: --no-site-package是因为从版本20开始，默认就是’–no-site-packages‘了。如下：

virtualenv nowamagic_venv --no-site-packages

–distribute选项使virtualenv使用新的基于发行版的包管理系统而不是 setuptools 获得的包。你现在需要知道的就是 --distribute 选项会自动在新的虚拟环境中安装 pip ，这样就不需要手动安装了。当你成为一个更有经验的Python开发者，你就会明白其中细节。

virtualenv --distribute nowamagic_venv

可使用-p PYTHON_EXE选项在创建虚拟环境的时候指定Python版本

#创建python2.7虚拟环境
virtualenv -p /usr/bin/python2.7 ENV2.7#创建python3.4虚拟环境
virtualenv -p /usr/local/bin/python3.4 ENV3.4

3.激活虚拟环境

Linux:$ venv/bin/activate或者source $ENV_BASE_DIR/$ENVIRONMENT_NAME/bin/activate

如果此时进入到venv虚拟环境文件夹下，可以source bin/activate

Windows:$ venv\Scripts\activate

==> 有个小前缀哦(venv) C:\Users\meij1\Videos\OdoCSV\myproject>

4.退出环境
deactivate

Anaconda、conda、pip、virtualenv的区别

① Anaconda

Anaconda是一个包含180+的科学包及其依赖项的发行版本。其包含的科学包包括：conda, numpy, scipy, ipython notebook等。

② conda

conda是包及其依赖项和环境的管理工具。
适用语言：Python, R, Ruby, Lua, Scala, Java, JavaScript, C/C++, FORTRAN。
适用平台：Windows, macOS, Linux

用途：

快速安装、运行和升级包及其依赖项。
在计算机中便捷地创建、保存、加载和切换环境。

如果你需要的包要求不同版本的Python，你无需切换到不同的环境，因为conda同样是一个环境管理器。仅需要几条命令，你可以创建一个完全独立的环境来运行不同的Python版本，同时继续在你常规的环境中使用你常用的Python版本。

conda为Python项目而创造，但可适用于上述的多种语言。
conda包和环境管理器包含于Anaconda的所有版本当中。

③ pip

pip是用于安装和管理软件包的包管理器。
pip编写语言：Python。

Python中默认安装的版本：

Python 2.7.9及后续版本：默认安装，命令为pip

Python 3.4及后续版本：默认安装，命令为pip3

pip名称的由来：pip采用的是递归缩写进行命名的。其名字被普遍认为来源于2处：

“Pip installs Packages”（“pip安装包”）
“Pip installs Python”（“pip安装Python”）

④ virtualenv

virtualenv：用于创建一个独立的Python环境的工具。

解决问题：

当一个程序需要使用Python 2.7版本，而另一个程序需要使用Python 3.6版本，如何同时使用这两个程序？
如果将所有程序都安装在系统下的默认路径，如：/usr/lib/python2.7/site-packages，当不小心升级了本不该升级的程序时，将会对其他的程序造成影响。
如果想要安装程序并在程序运行时对其库或库的版本进行修改，都会导致程序的中断。
在共享主机时，无法在全局site-packages目录中安装包。

virtualenv将会为它自己的安装目录创建一个环境，这并不与其他virtualenv环境共享库；同时也可以选择性地不连接已安装的全局库。

⑤ pip 与 conda 比较
→ 依赖项检查

pip：

不一定会展示所需其他依赖包。
安装包时或许会直接忽略依赖项而安装，仅在结果中提示错误。

conda：

列出所需其他依赖包。
安装包时自动安装其依赖项。
可以便捷地在包的不同版本中自由切换。

→ 环境管理

pip：维护多个环境难度较大。
conda：比较方便地在不同环境之间进行切换，环境管理较为简单。

→ 对系统自带Python的影响

pip：在系统自带Python中包的**更新/回退版本/卸载将影响其他程序。
conda：不会影响系统自带Python。

→ 适用语言

pip：仅适用于Python。
conda：适用于Python, R, Ruby, Lua, Scala, Java, JavaScript, C/C++, FORTRAN。

⑥ conda与pip、virtualenv的关系

conda结合了pip和virtualenv的功能。 https://blog.csdn.net/zhouchen1998/article/details/84671528

个人总结：conda创建的虚拟环境是OS级别的可以解决包的依赖问题，而venv创建的是项目级别的，所有的依赖问题自己解决，占用空间是项目的空间，适合开发人员较小的环境，python版本依赖主程序。

1.什么是virtualenv(venv)

这是一个虚拟环境管理器。它可以让你每个项目甚至每个脚本配置一个自定义的python解释器环境，这最大的好处是我可以不污染开发环境。venv可以创建任意多个虚拟环境，你只要指定当前环境那么pip安装的包就只会在这个环境下，这个环境和你的操作系统部署的python环境是隔离的。这有两个好处。
首先，我可以分门别类常见虚拟环境，互不污染。（如机器学习和爬虫不干涉）
其次，一旦我不使用了，可以直接删除虚拟环境，而不用管各种文件残留，关联问题了。

2.什么是pip

pip 是 Python 最常用的包管理器，该工具提供了对Python 包的查找、下载、安装、卸载的功能。它能自动处理依赖。（linux开发者曾今对此深恶痛绝知道yum的出现）
一般pip是解释器自带的，当然也可以安装。pip的出现使得类似java那样第三方包较难管理的局面消失（当然java也可以方便处理了）。
使用方法：pip install packagename
当然，后面提到的conda也具有包管理器功能，使用是：conda install packagename

3.什么是conda

最近有人问我venv和conda有什么区别，其实在我看来区别不是特别大。主要如下。
如果说venv是虚拟环境管理器，pip是包管理器，那么conda则是两者的结合。
遗憾的是conda的包管理器做的一般，大多数时候还是使用pip安装包。
但是，注意，pip只能安装Python的包，conda可以安装一些工具软件，即使这些软件不是基于Python开发的。
但是conda的虚拟环境管理还是可以的，一般使用venv会在该项目下创建虚拟环境，再不济也会在项目下创建venv的文件夹（含配置文件），当然pycharm下创建虚拟环境另说；然而conda每个虚拟环境不会占用项目文件夹的空间，它创建在用户设定的一个位置，这使得多个项目共享一个虚拟环境更加方便（只是方便，venv也是可以的，但是venv一般占用项目文件夹空间，而且venv命令行使用具有局限性）。
conda虚拟环境是独立于操作系统解释器环境的，即无论操作系统解释器什么版本（哪怕2.7），我也可以指定虚拟环境python版本为3.6（见文章开头所说原博客），而venv是依赖主环境的。
对于科学计算和大数据领域的人，conda是环境自动集成了numpy这样的主流科学计算包的，venv每个包都要自行下载。
conda有图形化环境管理器，venv没有。（虽然开发人员几乎不用图形界面conda）