pycharm创建scrapy项目教程及遇到的坑
最近学习scrapy爬虫框架,在使用pycharm安装scrapy类库及创建scrapy项目时花费了好长的时间,遇到各种坑,根据网上的各种教程,花费了一晚上的时间,终于成功,其中也踩了一些坑,现在整理下相关教程,希望帮助那些遇到和我一样问题的码农。
1、环境
- 操作系统:windows10。
- python版本:python3.7,必须使用Anaconda,目前是Anaconda5.3.1。下载地址:https://www.anaconda.com/download/。 下载64位的安装包。scrapy依赖的类库比较多,使用Anaconda会将相关的依赖的类库都安装好,并且版本保持一致。
- pycharm:pycharm2018。
2、安装Anaconda
安装好Anaconda之后,将下面的变量加入到系统环境变量中:
e:\Anaconda3;e:\Anaconda3\Library\mingw-w64\bin;e:\Anaconda3\Library\usr\bin;e:\Anaconda3\Library\bin;e:\Anaconda3\Scripts;
上面是我本机上的环境变量,我是将Anaconda3安装在E盘的Anaconda3文件夹中。
3、安装scrapy相关类库
打开pycharm,创建一个项目,然后开始安装相关的类库。通过下面的方式查找类库,点击左上角的File按钮,会弹出如下的界面:
点击Settings按钮,会弹出下面的菜单:
然后点击右边的“+”,就会弹出安装类库的界面:
在上图中查询类库,然后点击“Install package”即可安装。
如果查询出的类库显示蓝色,表示这个类库已经安装过了。
按照下面的顺序安装类库:lxml->zope.interface->pyopenssl->twisted->scrapy。一般情况下Anaconda已经安装了很多类库,我们只需安装scrapy即可。
4、创建scrapy项目
安装好scrapy类库之后,就可以创建scrapy项目了,pycharm不能直接创建scrapy项目,必须通过命令行创建,打开pycharm的Terminal终端,输入scrapy startproject test_scrapy
命令,就可以创建名为test_scrapy的scrapy项目,看到如下的信息表示成功创建scrapy项目:
New Scrapy project 'test_scrapy', using template directory 'e:\\Anaconda3\\lib\\site-packages\\scrapy\\templates\\project', created in:G:\PycharmProjects\scrapy\test_scrapyYou can start your first spider with:cd test_scrapyscrapy genspider example example.com
然后在pycharm的项目空间中就可以看到test_scrapy项目的目录结构:
通过命令行创建scrapy项目时经常会遇到下面的三个坑:
(1)'scrapy' 不是内部或外部命令,也不是可运行的程序或批处理文件。这是因为没有把Anaconda加入到环境变量中。在安装scrapy时,会将scrapy.exe文件安装到Scripts文件夹下面:
如果没有设置环境变量,将无法找到scrapy.exe文件。
(2)ImportError: DLL load failed: 找不到指定的模块。 这个问题是因为lxml类库版本引起的,在window7操作系统会遇到这个问题。我安装的是4.2.5版本,后来改成3.8.0就解决了。将lxml从4.2.5切换成3.8.0的方法如下:
通过上图的安装类库界面,找到lxml,勾选上Specify version选项,然后选择3.8.0,点击“install package”按钮即可。使用anaconda的好处就是,将lxml切换成3.8.0之后,会把相关的openssl和twisted等类库也切换成匹配的类库,因此强烈推荐使用Anaconda安装python。
(3)ImportError: DLL load failed: 操作系统无法运行 %1。 这个是因为c:/windows/system32目录中的ssleay32.dll和libeay32.dll冲突导致的,我的做法是删除掉这个两个文件,创建好scrapy项目后,在恢复回来。因为删除这两个文件会导致某些应用无法运行。在window10操作系统会遇到这个问题。
本文同步发布与:http://www.bigdata17.com/2018/12/20/pythonscrapy.html
转载于:https://www.cnblogs.com/airnew/p/10152438.html
pycharm创建scrapy项目教程及遇到的坑相关推荐
- 在pycharm创建scrapy项目
在pycharm创建scrapy项目 步骤很简单,直接进入主题. 第一步: 创建一个python项目.解析器什么的自己选择,环境目录默认就好. 第二步: 下载scrapy,步骤file->set ...
- pycharm创建scrapy项目
没找到PyCharm怎么创建Scrapy项目 在xshell里面执行 [root@localhost web]# scrapy startproject carspider New Scrapy pr ...
- pycharm创建django项目及开发初准备
文章目录 前言 一.使用pycharm创建django项目 二.初步设置 对文件进行简单说明 设置 app的介绍和创建及设置 app的创建 第一种方式 第二种方式(本质上还是命令,但是更加智能) ap ...
- 创建Scrapy项目报错 UnicodeDecodeError: 'ascii' codec can't decode byte 0xa3 in position 19
刚安装好,创建Scrapy 项目报错: D:\py_workspace\test_scrapy>scrapy startobject a Traceback (most recent call ...
- pycharm创建vue项目
pycharm创建vue项目 学习vue 需要下载node.js 链接: node.js 安装淘宝npm镜像 命令行输入: npm install -g cnpm --registry=https:/ ...
- WebStorm创建Vue项目教程(五)创建第一个Vue项目
WebStorm创建Vue项目教程 以管理员身份运行webstorm(我的版本是2022.1.3) 点击[New Project]新建一个项目 添加路径,将项目命名为myfirst 点击[create ...
- 老鱼Python数据分析——篇十七:使用pycharm创建django项目
最近把基础的数据爬取和存储都学习完了,开始进行数据的显示,考虑到通用性,还是使用Web方式来显示数据吧. 所以接下来就开始django学习之路,因为django是一个免费并且强大的开源Web框架. 使 ...
- (一)使用pycharm创建django项目
一.打开PyCharm,新建项目 点击创建之后,PyCharm自动帮我们创建一个虚拟环境和安装最新版的Django. 安装成功之后,我们刚才指定的目录下就多出一个mysite文件夹.打开mysite文 ...
- Scrapy入门(二)创建Scrapy项目
创建一个Scrapy项目 定义提取的Item 编写爬取网站的 spider 并提取 Item 编写 Item Pipeline 来存储提取到的Item(即数据) 创建项目 在开始爬取之前,您必须创建一 ...
最新文章
- Velocity文档(3)
- 抢先体验 Windows PowerShell 2.0 全新技术
- Spring Mvc返回html页面404错误解决记录--转载
- Spring-AOP @AspectJ进阶之绑定类注解对象
- linux 跟踪链接 超时,Linux:跟踪netstat -s“连接尝试失败”的来源
- aida64内存稳定性测试_250元就能买到16GB内存 这背后究竟是道德的沦丧还是人性的扭曲?...
- 2021年11月软考准考证打印时间及操作步骤
- a律13折线pcm编码例题_a律13折线pcm编码例题
- ARM MMU工作原理剖析[转]
- 找出数组中两个只出现了一次的数
- 作者:张志恒(1990-),男,兰州大学资源环境学院硕士生。
- python报错对象没有属性_属性错误:函数对象在python中没有属性
- jooq生成records_Java 14 Records类
- 若要调试此模块,请将其项目生成配置更改为“调试”模式。若要取消显示此消息,请禁用“启动时若没有用户代码则发出警告”调试器选项。...
- 如何把pdf拆分成一页一页的图片?
- 怎么用万用表检测场效应管的好坏?
- 【Hyperledger Fabric】学习笔记1—— 区块链介绍
- 中基协:推荐使用电子合同
- [渝粤教育] 温州职业技术学院 纳税筹划 参考 资料
- 商务翻译证,高级商务翻译证
热门文章
- Spring Boot修改启动端口
- 【effective c++读书笔记】【第7章】模板和泛型编程(3)
- 在WP7下自定义RelativeSource 的Binding
- ASP.NET 验证控件
- 英语阅读推荐:使用AJAX+WF+LINQ制作Google IG式首页
- 常用地理数据平台及环境数据资源 (GIS)
- 基于 TensorFlow 的图像识别(R实现)
- 蓝桥杯:基础练习 杨辉三角形
- php impload 展开,PHP implode()函数用法讲解
- html手机怎么样删除掉,怎么样才能删除这个叫做(手机模拟器大师)的软件?...