Scrapy002-框架安装

@(Spider)[POSTS]

这里我使用的是Python3.x，

1. Ubuntu上安装

在安装Scrapy之前，首先需要确定环境和版本：

Ubuntu16.04
Python3.5
Scrapy1.2

依赖安装：

sudo apt-get install build-essential
sudo apt-get install python3-dev
sudo apt-get install libxml2-de;
sudo apt-get install libxslt1-dev
sudo apt-get install python3-setuptools

lxml 安装：

sudo python3 -m pip install lxml

Scrapy安装：

sudo python3 -m pip install Scrapy

安装OpenSSL：

sudo python3 -m pip install pyopenssl

之前安装了python-dev和python-setuptools也要重新安装python3版本的这两个软件，即运行：

sudo apt-get install python3-dev
sudo apt-get install python3-setuptools

安装过程很简单，若出现其他问题，根据实际情况解决即可。

2. Windows10上安装

在安装之前我们需要进行准备工作：

安装Python3.5

官网下载就好，https://www.python.org/downloads/release/python-352/

下载并更新到Visual Studio 2015
官方：Python3.5 对应的版本
下载链接：https://www.visualstudio.com/zh-hans/downloads/
更新pip工具

python -m pip install -upgrade pip

由于Windows对Twisted框架支持还不是很完善，并不能通过pip来安装，我们可以通过下列方式：

1. 安装`Twisted`和`lxml`

到这个网址来下载已经做好的包：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

Ctrl+f查询lxml即可。

注意:cp35表示Python3.5，win32指的是Python的位数而不是Windows的系统位数

在cmd中使用pip工具，安装下载的wheel包即可。

pip install d:\Twisted-16.4.1-cp35-cp35m-win32.whlpip install d:\lxml-3.6.4-cp35-cp35m-win32.whl

2. 安装`Scrapy`

pip install scrapy

3.依赖问题

安装完成后，启动时关于错误ImportError

ImportError: cannot import name '_win32stdio'
ImportError: No module named 'win32api'

解决：

pip  install  win32api

若仍未解决，请到https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 下载对应版本安装即可解决。

转载于:https://www.cnblogs.com/liu-yao/p/6166490.html

Scrapy002-框架安装相关推荐

CV：Win10下深度学习框架安装之Tensorflow/tensorflow_gpu+Cuda+Cudnn(最清楚/最快捷)之详细攻略(图文教程)
CV:Win10下深度学习框架安装之Tensorflow/tensorflow_gpu+Cuda+Cudnn(最清楚/最快捷)之详细攻略(图文教程) 导读本人在Win10下安装深度学习框架Tenso ...
laravel框架安装(奶妈式手把手一步步操作)
[实施工程师]--超级贴心的PHP[laravel框架安装]步骤实在是太详细了,必须点赞收藏. 目录环境要求: composer服务下载: 安装Composer 测试Composer 切换Compo ...
实用必备xp框架模块_Xposed框架安装、使用以及插件开发
Xposed框架:是一款可以在不修改APK的情况下影响程序运行(修改系统)的框架服务,基于它可以制作出许多功能强大的模块,且在功能不冲突的情况下同时运作.对原生Launcher替换图标等应用或功能均基 ...
Node.js开发之Express框架安装
Express框架安装 1.在命令行中使用全局模式安装 $ sudo npm install express@3.0.6 -g 2.建立工程 ...
十二.激光SLAM框架学习之livox-loam框架安装和跑数据集
专栏系列文章如下: 一:Tixiao Shan最新力作LVI-SAM(Lio-SAM+Vins-Mono),基于视觉-激光-惯导里程计的SLAM框架,环境搭建和跑通过程_goldqiu的博客-CSDN ...
python sanic_Sanic框架安装与简单入门示例
本文实例讲述了Sanic框架安装与简单用法.分享给大家供大家参考,具体如下: Sanic是一个类似Flask的Python 3.5+ Web服务器,它的写入速度非常快.除了Flask之外,Sanic还 ...
gin context和官方context_[系列文章] Gin框架 - 安装和路由配置
概述看下 Gin 框架的官方介绍: Gin 是一个用 Go (Golang) 编写的 web 框架. 它是一个类似于 martini 但拥有更好性能的 API 框架, 由于 httprouter,速 ...
Python、PyCharm、Django框架安装
一.下载Python环境 1.1 下载Python环境,以下网址: https://www.python.org/downloads/release/python-373/ 下载安装包: 1.2点击安 ...
python开发软件的实例-Python 开发工具和框架安装实例步骤
引言: 其实之前对于 Python,只是知道有这门语言而已.大部分还是使用 .net 开发的,之前也学了 MVC+EF 开发,但是由于工作上完全用不到,也就没有在博客记录学习的东西了. 最近又接触到了 ...
最新版gg服务器框架安装器,GG服务框架安装器最新版本
GG服务框架安装器最新版本是一款非常实用的谷歌框架修复软件.这里支持的手机型号是非常多样的,常见的都是可以支持的,而且还可以为用户提供超多的修复功能,还有人工客服为用户24小时服务.如果你有心动了的话 ...

Scrapy002-框架安装

Scrapy002-框架安装

1. Ubuntu上安装

2. Windows10上安装

1. 安装`Twisted`和`lxml`

2. 安装`Scrapy`

3.依赖问题

Scrapy002-框架安装相关推荐

最新文章

热门文章

Scrapy002-框架安装

Scrapy002-框架安装

1. Ubuntu上安装

2. Windows10上安装

1. 安装Twisted和lxml

2. 安装Scrapy

3.依赖问题

Scrapy002-框架安装相关推荐

最新文章

热门文章

1. 安装`Twisted`和`lxml`

2. 安装`Scrapy`