python scrapy 环境搭建_Python Scrapy 爬虫(一):环境搭建
Life is short, I use Python
三年前的一天,我在灵隐寺求佛时,偶遇一高僧,法号智息。大师见我眉头紧皱,心事重重,于是便主动上前来开导我。大师充满智慧地告诉我了一句真理:“人生苦短,及时行乐。”
在大师的点化之下,我顿感拨云见日,豁然开朗...于是我潜心修练,终于悟出了人生的终极奥义:“人生苦短,我用 Python”。
闲言碎语不再谈,今天开始带来 Python Scrapy 爬虫系列分享。
一、准备工作
1.知识储备
本系列需要少量的 Python 基础,少量网络知识,少量数据库知识,少量 git 知识即可。
2.开发环境
Windows 10 x64
Python 3.6.4
MySQL 5.7
PyCharm
3.第三方库
virtualenv
virtualenvwrapper
virtualenv 是 Python 的虚拟环境工具,你可以这么理解:某位法力高强的大仙为了避免两个猎人在同一个猎场里起冲突(抢资源或误伤),于是他使用强大的法力把那个猎场复制一份,让每个猎人一个猎场,大家相安无事。virtualenv 就类似于这位大仙,当大仙复制的猎场越来越多的时候,他感觉有点乱,有点烦,于是他找了个小助手来帮他管理他创建出来的猎场,这个小助手就好比 virtualenvwrapper。
注:
(1)虽然不用安装 virtualenv 与 virtualenvwrapper 也可以正常使用 python。但还是建议使用,至于原因嘛,请看上面那段话。
(2)用到的其他第三方库等需要用到的时候再安装
二、开始搭建
1.安装 Python
windows 下的软件安装过于简单在此不作详解,只列举几个关键点
软件包下载地址
https://www.python.org/downloads/release/python-364/
推荐为所有用户安装
都打勾并点自定义安装
添加环境变量
红框处打勾
验证安装
打开 cmd 窗口,输入如下命令:
python -V
pip -V
如果出现了版本信息而没有提示无此命令,表示 Python 安装成功
安装校验
注:如果没有特殊需要,建议按照图中所示安装。如果你有其他平台如 MacOS/Linux 上的安装需求,请收看番外篇关于各平台 Python 多版本共存的分享。
2.MySQL 安装
Windows 上的 MySQL 安装同样非常简单,同上略过详细过程,列出几点注意。
软件包下载地址
https://dev.mysql.com/downloads/windows/installer/5.7.html
MySQL 下载
点击 "Download" 后,在跳转后的页面点击 "No thanks,just start my download" 即可开始下载
注:这里的版本不一定完全一样,但可以尽量保持一致
安装注意
设置 root 密码并记住它~
3.PyCharm 安装
PyCharm 是 Python 的一款专用 IDE,功能强大,且非常好用,强烈推荐。下载 Community 版可免费使用。
下载地址:
https://www.jetbrains.com/pycharm/download/#section=windows
安装过程此处省略,按照导航安装即可。
3.安装 virtualenv 和 virtualenvwrapper
3.1 安装 virtualenv
安装 virtualenv
打开一个 CMD 窗口,输入如下命令安装
C:\Windows\system32>pip install virtualenv -i https://pypi.douban.com/simple
注:如果执行上面命令安装时报错没有权限,请在打开 CMD 窗口时,右键 "cmd.exe" -> "以管理员身份运行" 即可
验证 virtualenv
执行如下命令验证安装,如果看见 virtualenv 显示,说明安装成功,可以看到已成功安装了 16.0.0 版本
C:\Windows\system32>pip list
pip (9.0.1)
setuptools (28.8.0)
virtualenv (16.0.0)
使用 virtualenv
(1) 创建一个 virtualenv
示例,如下命令表示在当前目录下创建一个名叫 scrapy_spider 的目录(虚拟环境),该目录下包含了独立的 Python 运行程序,pip 包管理工具
C:\Users\jiangzhuolin>virtualenv scrapy_spider
(2) 切换到虚拟环境
如下示例,切换到创建的虚拟环境的 Scripts 目录下:
C:\Users\jiangzhuolin>cd scrapy_spider/Scripts
执行如下命令切换到虚拟环境:
C:\Users\jiangzhuolin\scrapy_spider\Scripts>activate
(scrapy_spider) C:\Users\jiangzhuolin\scrapy_spider\Scripts>
切换后,前面有个括号,里面标了虚拟环境目录。
查看切换到虚拟环境后的 Python 和 pip
(scrapy_spider) C:\Users\jiangzhuolin\scrapy_spider\Scripts>python -V
Python 3.6.4
(scrapy_spider) C:\Users\jiangzhuolin\scrapy_spider\Scripts>pip -V
pip 9.0.1 from c:\users\jiangzhuolin\scrapy_spider\lib\site-packages
(python 3.6)
退出虚拟环境
(scrapy_spider) C:\Users\jiangzhuolin\scrapy_spider\Scripts>deactivate
3.2 安装 virtualenvwrapper-win
执行如下命令安装 virtualenvwrapper-win
C:\Windows\system32>pip install virtualenvwrapper-win -i https://pypi.douban.com/simple
注:安装需要在非虚拟环境下进行
执行如下命令验证安装
C:\Users\jiangzhuolin>pip list
pip (9.0.1)
setuptools (28.8.0)
virtualenv (16.0.0)
virtualenvwrapper-win (1.2.5)
创建虚拟机
安装好 virtualenvwrapper-win 后,可以按如下示例的方法创建一个虚拟环境
C:\Users\jiangzhuolin>mkvirtualenv test
C:\Users\jiangzhuolin\Envs is not a directory, creating
Using base prefix 'c:\\program files\\python36'
New python executable in C:\Users\jiangzhuolin\Envs\test\Scripts\python.exe
Installing setuptools, pip, wheel...done.
(test) C:\Users\jiangzhuolin>
注:创建虚拟环境完成后,会自动切换到创建的虚拟环境中
使用 workon 命令
使用 workon 命令可以查看和切换虚拟环境:
(1) 查看虚拟环境,单独执行 workon 命令就是查看当前已经通过 mkvirtualenv 创建的虚拟环境
C:\Users\jiangzhuolin>workon
Pass a name to activate one of the following virtualenvs:
==============================================================================
test
(2) 切换虚拟环
使用 workon [virtual-name] 即可切换到对应的虚拟环境
C:\Users\jiangzhuolin>workon test
(test) C:\Users\jiangzhuolin>
(3) 退出虚拟环境
在虚拟环境中,使用 deactivate 即可退出虚拟环境
(test) C:\Users\jiangzhuolin>deactivate
(4) workon home
安装完 virtualenvwrapper-win 后,创建的虚拟机的默认目录在当前 windows 用户目录下的 Envs 目录中
C:\Users\jiangzhuolin>cd envs
删除虚拟环境
rmvirtualenv [virtualenv-name]
如下示例:
C:\Users\jiangzhuolin\Envs>rmvirtualenv test
Deleted C:\Users\jiangzhuolin\Envs\test
注:
a.使用 rmvirtualenv 命令进行删除,必须要指定存放在 WORKON_HOME 中的虚拟环境,如果是在其他目录,该命令不能删除
b.也可以直接使用操作系统删除目录命令直接删除目录
总结:到此,一个基本的爬虫具备的环境就搭建好了。预告,下一篇,我们将开始爬虫的编码之旅。
python scrapy 环境搭建_Python Scrapy 爬虫(一):环境搭建相关推荐
- python sub 不区分大小写_Python网络爬虫入门篇
1. 预备知识 学习者需要预先掌握Python的数字类型.字符串类型.分支.循环.函数.列表类型.字典类型.文件和第三方库使用等概念和编程方法. Python入门篇:https://www.cnblo ...
- python scrapy 环境搭建_python+scrapy环境搭建步骤描述
Python3(3.5.4)搭建爬虫系统步骤描述: 1.下载python安装包,路径:https://www.python.org/downloads/windows/ 选择3.5.4版本64位的安 ...
- python爬取天猫_python scrapy 爬取天猫商品
感觉写的差不多了,可就是爬不出数据,想要用这个爬取天猫商品销量价格,求一下PYTHON大神,能让我程序爬成功的,1000分都给你itemsimportscrapyclassno1item(scrapy ...
- python安装与开发环境搭建_Python安装和开发环境搭建
1.官网:http://www.python.org/download/下载安装包,目前最新版本为3.6,安装包很多地方可以下,也可以在360软件管家上下载安装 特别要注意勾选:Add Python ...
- python列表去掉逗号_python – Scrapy crawler,从字符串中删除逗号
def parse_item(self, response): for jobs in response.xpath('//div[@itemtype="http://schema.org/ ...
- python模拟app登陆_python scrapy版 模拟登陆appAnnie
方法总比困难多,遇到问题,要找到问题的根源,不断地调试,不要放弃,一定会与解决的方法,程序是人写的,问题不可能没有办法解决,冷静的去分析,问题一定会解开的,加油! # -*- coding: utf- ...
- python web环境傻瓜搭建_python学习笔记-Web环境搭建
因为在windows下,所以没有弄apache/nginx配合wsgi或者uwsgi什么的. 采用的是Flask和Tornado,Tornado作为服务器. python去官网下载安装就可以了,把pi ...
- python 建站需求_python建站基础环境配置
因为我平时大多数时候都是用的windows10系统,所以这一系列的笔记所记内容都是基于win10系统的. python版本选择 现在正是python2到python3过渡的时候,python2更成熟, ...
- python selenium 验证码识别_Python网络爬虫之如何用代码识别图片验证码
验证码 当我们在爬取某些网站的时候,对于一些频繁请求,网站会识别你是机器还是人.如果是机器,直接不允许你访问这个网站了,直接返回404或者禁止访问. 最常见的方式就是验证码.验证码的主要功能就是区分当 ...
最新文章
- 世界名画 | 陌上花开,可缓缓归矣
- mysql 烂泥_烂泥:学习mysql的binlog配置
- Sitecore® 8.2 Professional Developer考试心得
- 处理文件和文件夹的模块---os
- 敏捷团队如何进行绩效考核?
- PHP面试题:对于大流量的网站,您采用什么样的方法来解决访问量问题?
- 【C语言】控制台窗口图形界面编程(七):鼠标事件
- mysql case when then 函数_MySQL case when then 语句使用和时间函数使用
- JavaScript中使用Json
- BZOJ 4520: [Cqoi2016]K远点对
- 北大等多所高校网站被挂马 高考生浏览需小心
- Unity 之 自定义编辑器布局
- 12堂超级搜索术课程笔记链接汇总
- 软件设计师备考全攻略(附本人笔记)
- Typora 官网被Q了?(文中附下载地址)
- Java线程池工作原理
- 计算机在哪里设置定时休眠,win7系统设置定时开关机休眠唤醒的详细办法
- FFmpeg 快速上手:命令行详解、工具、教程、电子书
- MySQL报错 1273 - Unknown collation: ‘utf8mb4_0900_ai_ci‘
- 单片机百科知识点---杂七杂八系列