python爬虫的scrapy安装+pymongo的安装

我的：python2.7版本 32位

注意scrapy只支持2.7及以上的版本。

1.安装python

2.安装pip

安装pip就不赘述了，网上很多教学

pip安装时要注意更新，如果pip版本过老，会安装其他东西时失败。

说一下如何更新pip（命令行）：

pip install -U pip

pip安装后在命令行输入

pip  list

可查看已经安装的包

3.scrapy的安装

python -m pip install scrapy

scrapy安装的时候如果报错“ReadTimeoutError”，大概长这样子的。。。

raise ReadTimeoutError(self._pool, None, 'Read timed out.')
ReadTimeoutError: HTTPSConnectionPool(host='pypi.python.org', port=443): Read timed out.

那么就用国内的源下载：

python -m pip install --index https://pypi.mirrors.ustc.edu.cn/simple/  scrapy

scrapy我安装的时候报错：

  building 'twisted.test.raiser' extensionerror: Microsoft Visual C++ 9.0 is required. Get it from http://aka.ms/vcpython27

缺少Twisted了

解决办法：

在http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载twisted对应版本的whl文件（像我2.7版本的python,32位就是下载的Twisted-18.7.0-cp27-cp27m-win32.whl），cp后面是python版本，amd64代表64位，运行命令：

pip install C:\Users\PC\Downloads\Twisted-18.7.0-cp27-cp27m-win32.whl

pip install +twisted对应whl的路径。

可以在命令行输入python查看自己python的版本。

如下，我的就是2.7.14的32位的python。

Python 2.7.14 (v2.7.14:84471935ed, Sep 16 2017, 20:19:30) [MSC v.1500 32 bit (Intel)] on win32
Type "help", "copyright", "credits" or "license" for more information.

pymongo

pip真的是太方便了，表白一波~

pip install pymongo -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

后来在pycharm实际操作mongo数据库的时候，报出这个错误：

ImportError: No module named bson.code

那么就： pip install bson 就可以解决了

转载于:https://www.cnblogs.com/panpan0o/p/9412018.html

python爬虫的scrapy安装+pymongo的安装相关推荐

Python爬虫之Scrapy框架Windows环境安装
安装搞了快一天,把所有坑都踩过去了,终于在Windows上装上了Scrap,废话不多说,直接看下面的命令: 安装pip python get-pip.py 安装Visual C++ Build Too ...
Python爬虫之Scrapy库的下载和安装
Python爬虫之Scrapy库的下载和安装下载scrapy库 1.点击https://www.lfd.uci.edu/~gohlke/pythonlibs,进入该网页后Ctrl+F输入scrapy ...
Python爬虫辅助利器PyQuery模块的安装使用攻略
这篇文章主要介绍了Python爬虫辅助利器PyQuery模块的安装使用攻略,PyQuery可以方便地用来解析HTML内容,使其成为众多爬虫程序开发者的大爱,需要的朋友可以参考下 Windows下的安装 ...
python数据分析案例2-1：Python练习-Python爬虫框架Scrapy入门与实践
本文建立在学习完大壮老师视频Python最火爬虫框架Scrapy入门与实践,自己一步一步操作后做一个记录(建议跟我一样的新手都一步一步进行操作). 主要介绍: 1.scrapy框架简介.数据在框架内如 ...
python 爬虫实例-Python 爬虫：Scrapy 实例（二）
原标题:Python 爬虫:Scrapy 实例(二) 稍微增加点难度,做个所需项目多一点的,并将的结果以多种形式保存起来.我们就从网络天气预报开始. 首先要做的是确定网络天气数据的来源.打开百度,搜索 ...
精通python爬虫框架-精通Python爬虫框架Scrapy.pdf
作者 :(美)迪米特里奥斯·考奇斯·劳卡斯(Dimitrios Kouzis Loukas)著:李斌译出版发行 : 北京:人民邮电出版社 , 2018.02 ISBN号 :978-7-115-47 ...
阅读《精通Python爬虫框架Scrapy》
精通Python爬虫框架Scrapy 精通Python爬虫框架Scrapy 2018年2月的书,居然代码用的是Python2 环境使用的是Vagrant,但是由于国内网络的问题,安装的太慢了. 书里内 ...
python爬虫之Scrapy介绍八——Scrapy-分布式（以爬取京东读书为示例）
Scrapy-分布式(scrapy-redis)介绍 1 Scrapy-分布式介绍 1.1 Scrapy-redis工作原理 1.2 Scrapy-redis 安装和基本使用 1.2.1 安装 1.2 ...
Python爬虫之Scrapy框架爬虫实战
Python爬虫中Scrapy框架应用非常广泛,经常被人用于属于挖掘.检测以及自动化测试类项目,为啥说Scrapy框架作为半成品我们又该如何利用好呢 ?下面的实战案例值得大家看看. 目录: 1.Scr ...
[Python 爬虫] 使用 Scrapy 爬取新浪微博用户信息（三） —— 数据的持久化——使用MongoDB存储爬取的数据
上一篇:[Python 爬虫] 使用 Scrapy 爬取新浪微博用户信息(二) -- 编写一个基本的 Spider 爬取微博用户信息在上一篇博客中,我们已经新建了一个爬虫应用,并简单实现了爬取一位微 ...

python爬虫的scrapy安装+pymongo的安装

python爬虫的scrapy安装+pymongo的安装相关推荐

最新文章

热门文章