python scrapy 环境搭建_python+scrapy环境搭建步骤描述

Python3(3.5.4)搭建爬虫系统步骤描述：

1.下载python安装包，路径：https://www.python.org/downloads/windows/ 选择3.5.4版本64位的安装文件，如果不能下载可直接联系我,地址见底。

2.下载安装完成后直接cmd输入python，可正常查看版本，以本人为例：

注：安装过程中请注意一定要请勾选pip安装并加入到环境变量中，否则后续无法正常安装第三方类库。

3.安装爬虫框架必须依赖的第三方类库Twisted，在使用pip安装时会出现下载文件失败而无法安装问题，所以我直接下载源文件，然后cmd进入下载文件

目录下是用pip install 下载文件全名安装即可，下载地址如下： Twisted 然后找到跟本地Python版本匹配的whl文件

，比如我本地安装Python3.5.3 64位，name下载的文件就应该选择：

4.安装selenimu 自动化web包,cmd进入任意目录,执行 pip install selenium

5.安装pymysql 连接mysql包,cmd进入任意目录,执行pip install pymysql

6.安装pillow图片处理包, pip install piplow

7.安装pypiwin32 操作底层dll包,pip install pypiwin32

8.安装requests 发送web请求包 pip install requests

9.安装scrapy 爬虫框架包 pip install scrapy

10.安装解析网页内容包 pip install bs4。

11.截止以上十步爬虫所主要依赖第三方类库安装完成，下一步验证爬虫框架。

11.进入cmd，输入scrapy 查看scrapy是否安装成功。

12在cmd中进入任意目录，输入scrapy startproject testproject 创建一个机遇scrapy的爬虫工程，目录结构如下>

13.创建完工程后，可通过scrapy genspider mydomain mydomain.com 命令创建一个名字为mydomain 网站为mydomain.com的爬虫。

14创建完爬虫后，在工程目录下执行scrapy list 查看刚才创建的爬虫是否成功，如下：

15.不修改爬虫内容，测试爬虫是否正常运行，执行如下命令：

scrapy crawl 爬虫名称(比如我的工程执行 scrapy crawl test_pc)如下：

至此，一个简单的爬虫系统从头到最后运行的过程全部搭建完成。

另：本人微信ma0603kang 邮箱：ma0603kang@163.com,如果有什么问题可以联系我。

python scrapy 环境搭建_python+scrapy环境搭建步骤描述相关推荐

python语言开发环境搭建_Python开发环境搭建-Go语言中文社区
Python下载安装因为pycharm是ide,是一个开发工具,运行脚本仍需要Python的解释器,所以要下载并安装Python 从Python官方网站下载64位的Windows可执行的安装文件 i ...
window python环境搭建_Python入门-环境搭建详解(Window平台)
Python安装 1.打开Python官网,地址为: 这里可以选择下载3.X版本和2.X版本的,我下载的是3.X版本. 下载成功后直接安装,在安装过程中有时会出现下面这个问题: 推荐解决方案直接安装[ ...
pythonappium环境搭建_python appium环境搭建
1,appium是开源的移动端自动化测试框架: 2,appium可以测试原生的.混合的.以及移动端的web项目: 3,appium可以测试ios,android应用(当然了,还有firefox os) ...
python环境准备_python开发环境准备
python 以版本众多,包之间依赖复杂而著称,所以一个趁手的开发环境还是很有必要的. 我的建议是用Anaconda做环境隔离.包管理,PyCharm做项目开发,jupyter做笔记,ipython和 ...
python scrapy框架爬虫_Python Scrapy爬虫框架学习
Scrapy 是用Python实现一个为爬取网站数据.提取结构性数据而编写的应用框架. 一.Scrapy框架简介 Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架. 可以应用在包括数 ...
python scrapy 环境搭建_Python Scrapy 爬虫（一）：环境搭建
Life is short, I use Python 三年前的一天,我在灵隐寺求佛时,偶遇一高僧,法号智息.大师见我眉头紧皱,心事重重,于是便主动上前来开导我.大师充满智慧地告诉我了一句真理:&qu ...
python编译环境搭建_python开发环境搭建
python的开发环境是比较简单的,本来也没打算要写,不过现在想想还是写出来,一方面保证来我博客上python内容的完整性,一方面也可能有些人真的不会,毕竟我是用了很多其他语言之后才转到python的 ...
python环境搭建_Python开发环境搭建安装开发软件
0.学习路径示意图各位小伙伴大家好,这次楼主分享的是Ubuntu上安装开发软件. 包含以下这几个软件: Pycharm Anaconda3 Git Vim 远程登录软件 Ranger PS:因为以下 ...
python安卓版开发环境搭建_python+appium环境搭建
思考如何构建环境思路图首先我们需要搞定一个环境,这里无论是appium.还是selenium还是其他的什么自动化.开发环境我们都可以按照这个思路来,首先你需要知道整个框架是做什么的?然后他的整个工作 ...

python scrapy 环境搭建_python+scrapy环境搭建步骤描述

python scrapy 环境搭建_python+scrapy环境搭建步骤描述相关推荐

最新文章

热门文章