Python+windows系统虚拟环境的独立搭建框架scrapy 工具PyCharm

首先我们需要安装python,virtualenv和virtualenvwrapper-win32

我的镜像为清华pip,均为pip install ...

这里我已经安装了,所以提示已经存在,现在我们开始搭建独立的虚拟环境

在安装好virtualenvwrapper-win后我们可以使用命令workon

查看当前的虚拟环境有哪些

环境如下:

虚拟环境的路径是可以修改的,默认为administrator下的环境,修改路径在系统变量中给WORKON_HOME自定义配置路径

我的配置如下:

配置好自定的路径后

我们开始新建虚拟环境

使用命令 mkvirtualenv 虚拟环境名

新建Dpro 虚拟环境

使用环境

命令: workon 环境名

显示已经进入当前env环境

然后我们在当前环境下新建项目,注意:这里的项目路径,就是当前指令的路径,比如当前是C:\User\Admin\Administrator,

那我们的项目就是在这里,这里我用的是大家都在用的scrapy框架

为了方便大家看的清楚我这里在新建的Blog环境中演示一遍

这里发现Twisted模块下载失败

所以我们需要手动的下载模块下来

因此我们进入网站https://www.lfd.uci.edu/~gohlke/pythonlibs/

查看我的python版本

找到Twisted

下载下来,然后在下载的文件目录下手动执行下载命令

我将下载的文件放在我们的Administrator文件夹下,然后执行命令安装

好了,最后提示安装成功

然后我们可以用scrapy安装对应的虚拟环境下的项目了

首先我们找一个方便自己找的路径进行安装

我这里选择的是D:\Python\New\Blog

在当前路径下我们执行新建项目的命令

scrapy startproject 项目名

这时如果要退出环境输入命令

deactivate

这里我用的工具为 PyCharm

我们打开刚刚新建的项目

我们最初运行时如果报错

No module named win32api

其实是没有安装pypiwin32

安装方式和上面一样自行安装

现在我们爬取一个网页文章的标题

再在项目根目录新建main.py文件

main.py代码

from scrapy.cmdline import execute
import sys
import os
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy","crawl","blogSpider"])

这样写的目的是为了方便调试,不用再命令行输入 scrapy crawl blogSpider

blogSpider代码

上面有清晰注释,praise_nums这个变量放的是xpath的节点位置

将所得值存入response.xpath("")中

断点pass所在代码行

在main.py文件中

execute运行的第三个参数应当是我们的blogSpider中的声明的name值

最终debug main.py文件

结果如下

Python+windows系统虚拟环境的独立搭建框架scrapy 工具PyCharm相关推荐

在Windows系统中搭建PHP环境,PHP环境搭建-Windows系统下PHP环境搭建
1.PHP环境搭建的前提是 Apache HTTP Server (Apache 服务器)已经安装部署成功,并可以正常访问到服务器的主页面.Apache HTTP Server 的安装部署已经在上一篇 ...
windows系统下jenkins环境搭建与基本使用
一. windows 系统下搭建jenkins环境 1.1 jenkins环境搭建和构建job流程图 1.2 安装jdk JDK下载地址: http://www.oracle.com/technet ...
Python - Windows系统下安装使用virtualenv
1 - virtualenv https://pypi.python.org/pypi/virtualenv/ https://github.com/pypa/virtualenv 在实际开发测试中, ...
python windows系统_Windows系统下Python-Windows详细安装教程
安装Python-Windows 在开始Python编程前,需要先安装Python环境.Python安装包可以到Python的官网下载,官网地址是,如果想直接跳过关于Python的介绍相关直接下载安装 ...
PHP环境搭建-Windows系统下PHP环境搭建
1.PHP环境搭建的前提是 Apache HTTP Server (Apache 服务器)已经安装部署成功,并可以正常访问到服务器的主页面.Apache HTTP Server 的安装部署已经在上一篇 ...
python windows系统下导入数据集的绝对路径问题
与Linux系统相比,windows系统存在着盘符,所以导入数据集的时候需要做一些调整. 举个例子: 当直接使用数据集文件夹的绝对路径时,运行可能会报错 if __name__ == '__main_ ...
Windows系统读写ext2/3/4文件系统的工具「ext2fsd」
这几天在折腾Arch Linux,使用的是定制版系统Bridge Linux.在修改lxdm主题的时候一不小心进不去系统了,又切换不了命令行模式,只好找找看有没有可以在Windows系统中读写ext4 ...
c# 指定打开某个路径下的CMD_Node.js 环境在 Windows 系统下安装与搭建教程
如果您想了解并深入学习 Node.js 那么您首先要做的第一件事就是安装Node.js .Node.js 环境怎么安装,对于新人来说肯定摸不着头脑.Node 是一个让 JavaScript运行在服务端 ...
【Windows系统】基于vscode搭建go语言开发环境
微信公众号:CurryCoder的程序人生怕什么真理无穷,进一寸有一寸的欢喜 1.golang安装包下载与安装关于vscode的下载,请参见历史文章Ubuntu16.04下搭建vscode的C++ ...
python windows系统_python管理windows系统tomcat服务
基于python实现的功能更强大的tomcat 守护进程.目前实现的功能: 1.通过性更强 ---通过修改config文件即可实现对其他tomcat程序的守护: 2.具有日志查看 --- 轮询30个日 ...

Python+windows系统虚拟环境的独立搭建框架scrapy 工具PyCharm

Python+windows系统虚拟环境的独立搭建框架scrapy 工具PyCharm相关推荐

最新文章

热门文章

Python+windows系统 虚拟环境的独立搭建 框架scrapy 工具PyCharm

Python+windows系统 虚拟环境的独立搭建 框架scrapy 工具PyCharm相关推荐

最新文章

热门文章

Python+windows系统虚拟环境的独立搭建框架scrapy 工具PyCharm

Python+windows系统虚拟环境的独立搭建框架scrapy 工具PyCharm相关推荐