MAC10.11 Python3.6 安装Scrapy
MAC10.11 Python3.6 安装Twisted
mac机器上是自带python2的,但是我自己下载使用了python3,最近才开始接触python和爬虫,尝试安装一下scrapy,遇到了一些问题,就记录一下安装成功的步骤吧。
安装wheel
安装lxml
安装Twisted
安装scrapy
LFD: http://www.lfd.uci.edu/~gohlke/pythonlibs/
我们需要的一些包,可以在这个网址上下载
安装wheel
1、去上面的网址下载wheel的包
进到网页,command+F 输入wheel,就可以找到啦。
然后在命令行输入
pip3 install /Users/blue/Downloads/wheel-0.29.0-py2.py3-none-any.whl
路径根据实际自己写啦
2、检查wheel是否安装成功,只要在命令行输入wheel即可
wheel
输出结果是这样的就代表安装成功啦:
安装lxml
法一:
lxml 是一个用来处理 XML 的第三方 Python 库。这个只能通过下载后安装的方法。(我用pip3 install lxml 的方法没有成功)
如果是Windows系统,可以直接在前面的LFD网站下载。cp后的数字是python的版本号。win32表示32位系统,win_amd64表示64位系统
如果不是:
https://pypi.python.org/pypi/lxml/3.8.0
在这个网址找到lxml安装包,cp后面的数字是你的python版本,请根据python版本和系统选择下载。
安装方法和wheel相同
法二:
在pycharm里安装,参照下面安装Twisted的方法。
打开pycharm
PyCharm -> Preferences -> project 项目名 -> project interpreter
点击最下面的+号
找到lxml 然后install即可
安装Twisted
如果是Windows系统,到上面的lfd网站找到下载就可以了。
mac系统的话,地址:https://pypi.python.org/pypi/Twisted/
到这个网址下载tar.gz文件
然后在命令行进入到压缩包所在的目录,进行解压
tar -jvxf /Users/blue/Downloads/Twisted-17.5.0.tar.bz2
进入解压后的文件夹
cd /Users/blue/Downloads/Twisted-17.5.0
进行安装
python3 setup.py install
但是我这里安装完成后,import还是有问题,命令行输入python3
>>>import twisted
会提示 No module named ‘incremental’
就进入pycharm,一个很好用的 IDE,进入随便一个项目
PyCharm -> Preferences -> project 项目名 -> project interpreter
双击Twisted
就装好了
回到命令行,import twisted 就不会报错了。
安装scrapy
到了这一步就非常简单了,保持网络连接:
pip3 install scrapy
这里可能遇到超时的情况,提示Read time out
这时我们就需要修改它的超时时间
pip3 --default-timeout=100 install -U scrapy
这样安装就可以啦
安装完成后,在命令行输入scrapy,弹出下面的内容就代表安装成功了
MAC10.11 Python3.6 安装Scrapy相关推荐
- win10+64位+python3.4安装scrapy
win10+64位+python3.4安装Scrapy 分析 想学习scrapy,所以网上找资料来安装.问题有不少. 1.一般大家用linux而不是Windows 2.一般大家用python2.7而不 ...
- python3.6安装scrapy出错_Mac中Python 3环境下安装scrapy的方法教程
前言 最近抽空想学习一下python的爬虫框架scrapy,在mac下安装的时候遇到了问题,逐一解决了问题,分享一下,话不多说了,来一起看看详细的介绍吧. 步骤如下: 1. 从官网 下载最新版本Pyt ...
- Python3.7安装Scrapy失败,解决方法
今天用命令安装python的scrapy框架的时候,竟然提示安装失败,报了一堆红色的错误. 大致错误开头是这个样子的:Command "d:\python3.7\python.exe -u ...
- Windows上Python3.5安装Scrapy(lxml) 以及与twisted有关错误的解决
转载于:http://www.cnblogs.com/silverbullet11/p/4966608.html 常用网址: Python 3.5: https://www.python.org/do ...
- python3.7 安装 scrapy, pip 升级
安装 pip : python -m ensurepip 然后安装 scrapy pip install Scrapy 输入scrapy 查看有没有安装成功 下面是我自己的安装日志 <!-- D ...
- python3.6安装scrapy出错_python3.6安装scrapy
1. Scrapy安装介绍 Scrapy的安装有多种方式,它支持Python2.7版本及以上或Python3.3版本及以上.下面说明Python3环境下的安装过程. Scrapy依赖的库比较多,至少需 ...
- Python爬虫笔记——python3.7安装Scrapy
python3.7安装Scrapy----2019 史上最牛逼的scrapy的安装教程 Scrapy入门教程 Scrapy 入门教程简单易懂版
- python3.6 安装Scrapy
为什么80%的码农都做不了架构师?>>> python 安装Scrapy error: Microsoft Visual C++ 14.0 is required https: ...
- python3.5安装scrapy_win10下基于python3.5安装scrapy教程
1.安装pywin32 pip install pywin32-220.1-cp35-cp35m-win32.whl 2.安装 twisted pip install Twisted-16.5.0-c ...
- Python3.7安装Scrapy教程
win+r,cmd,执行 pip3 install scrapy 如果遇到 解决方案 通过在https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted,然后 ...
最新文章
- web.py搭建服务器
- 「无糖快乐水」就安全了?不不,心血管疾病的风险照样增加
- 如何使用ADLab搭建活动目录实验环境来练习渗透测试技术
- 符号常量和变量有什么区别_“变量”和“常量”,计算机程序中的那个“量”是什么“量”...
- 端口停止使用_我停止使用
- 【.NET 日常开发技巧】一个性能强悍的HttpClient 库
- 自研redis sdk支持自动dns切换(附源码)
- 从键盘上录入学生人数和每个学生的分数,按分数降序输出所有的分数,java冒泡排序应用
- 使用mybatis插入数据(insert)时返回主键的问题
- 小猿圈学习Python字符串操作--字符串分割函数
- Android数据库框架-ORMLite
- 关于Python切片的问题,从左向右提取元素与从右向左提取元素
- 所有快捷方式失效的解决方法
- shell 后台运行程序并写pid文件
- ajax返回String类型导致的flowplayer报错p.replace is not a function问题
- QT Buttons系列 中 clicked(bool checked)的使用
- Ubuntu硬盘分区和挂载
- annotation-driven 配置详解
- 雅虎将提供PHP网站托管服务
- 手机指纹识别测试软件,指纹测算-指纹照相机 扫描识别指纹评分
热门文章
- mysql router 介绍_MySQL Router 介绍篇
- 2022年软件测试有哪些趋势?
- 阿尔伯塔计算机硕士要求,阿尔伯塔大学计算机硕士专业介绍
- 计算个人所得税的html,实验3-6 计算个人所得税 (10 分)
- Office2003打开或关闭word Excel文档出现发送错误报告
- 【 C++ OpenCV画旋转矩形 并返回四个顶点 】
- Android 获取照相机图片或本地图片
- 全球及中国EOG放大器行业运行状况与投资前景建议报告2021-2027年版
- Failed to build sentencepiece
- GoogleStyle编程代码规范