Python爬虫基础：安装Scrapy爬虫框架和创建Scrapy爬虫项目

首先为了避免国外镜像不稳定，我们使用了清华大学的python库镜像：https://pypi.tuna.tsinghua.edu.cn/simple

1、安装scrapy

1.1、安装pywin32（解决python调用windows系统库的问题）

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pywin32

1.2、安装Twisted网络数据处理的集成包，scrapy会调用

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple Twisted

1.3、安装scrapy模块

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy

1.4、查看scrapy的版本号

scrapy version

2、创建scrapy爬虫项目

2.1、执行如下命令创建一个爬虫项目

scrapy startproject newspiderproject

2.2、进入项目目录使用scrapy genspider命令创建爬虫主文件，指定爬取的url

cd newspiderproject

执行 scrapy genspider jobspidernow www.baidu.com

生成爬虫主文件

2.3、使用scrapy crawl 启动爬虫，查看是否能够访问url，如果200说明访问成功，爬虫框架搭建成功

scrapy crawl jobspidernow

Python爬虫基础：安装Scrapy爬虫框架和创建Scrapy爬虫项目相关推荐

Python爬虫基础讲解（二十三）：scrapy框架简介
Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space.bilibili.com/523606542 Python学习交流群:1039649593 scrapy是一 ...
Python学习-基础篇14 Web框架本质及第一个Django实例
Web框架本质我们可以这样理解:所有的Web应用本质上就是一个socket服务端,而用户的浏览器就是一个socket客户端. 这样我们就可以自己实现Web框架了. 半成品自定义web框架 impor ...
python爬虫软件安装不了_为编写网络爬虫程序安装Pytho
一. 下载Python3.5.1安装包 1.进入python官网,点击menu->downloads,网址:Download Python 2. 根据系统选择32位还是64位,这里下载的可执行e ...
三、Python零基础安装教程，用Eclipse编写Python程序
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ...
Python绘图基础：认识绘图区 + subplot创建子图
本小白在用 Python 绘制图形的时候发现可以利用多种代码来完成相同的图形的绘制,今天就给大家分享自己在利用 Python 绘图过程中总结的思路. 话不多说,直接开始 !!! 一.认识绘图区在绘制 ...
如何安装VCC++6.0并创建第一个项目
前言前几天学习了C语言编程,今天刚好有时间记录一下怎么安装VCC++6.0.并创建第一个c语言项目. VC++ 6.0免费版是一款专业的VC编程工具,学习编程的基础工具之一.VC++ 6.0免费版包 ...
使用Spring MVC,Mybatis框架等创建Java Web项目时各种前期准备的配置文件内容
1.pom.xml 首先,pom.xml文件,里面包含各种maven的依赖,代码如下: <project xmlns="http://maven.apache.org/POM/4.0. ...
python的scrapy框架的安装_Python爬虫基础（四）--Scrapy框架的安装及介绍
Scrapy框架的介绍安装: pip3 install Scrapy 安装测试: cmd命令行界面,输入:scrapy -h 框架安装完成: scrapy框架: 分为五个模块+两个中间件(5+2结构 ...
Scrapy框架中的crawlspider爬虫
1 crawlspider是什么在spider中要寻找下一页的url地址或者内容的url地址,想想是否有简单的方法省略寻找url的过程? 思路: 从response中提取所有的满足规则的url地址 ...