安装scrapy模块，创建一个Scrapy爬虫项目，并运行

创建一个Scrapy项目，首先需要所需要的模块

一丶安装scrapy框架所有模块
1.第一个安装的依赖库是lxml ,命令是：

pip install lxml

2.第二个依赖库是pyOpenSSL，安装步骤为
进入https://pypi.org/project/pyOpenSSL/#downloads 下载wheel文件；
在命令行窗口执行pip install (需要加上你下载文件的路径名）\pyOpenSSL-18.0.0-py2.py3-none-any.whl
3.第三个依赖库是Twisted库，安装步骤是：
因为电脑安装的是3.9版本的Python，所以直接在setting里加载不出最新的twisted模块，所以在命令提示符窗口里加载

pip install twisted-20.3.0-cp38-cp38-win_amd64.whl

4.此时可以加载scrapy模块

pip install scrapy

一般情况下，直接从3开始，不能从3开始再从1开始

二、创建爬虫项目

1.创建爬虫项目
首先进入命令提示符窗口（按win+R，输入cmd，进入到命令提示符窗口中），然后进入到一个文件夹中（注意必须是英文路径下）

scrapy startproject 项目名

然后进入项目中，创建爬虫

cd 项目名

scrapy genspider 爬虫名称 "域名"

#需要注意的是爬虫名字不能和项目名称一致。

2.运行爬虫文件
在spider文件中，写好项目后，与平常运行项目不同，爬虫项目在下面的terminal中输入

 scrapy crawl 爬虫名

spider文件中的类的name就是爬虫名

安装scrapy模块，创建一个Scrapy爬虫项目，并运行相关推荐

创建一个rails入门项目并运行
创建第一个rails项目从java转到ruby,正在学习中,创建第一个rails项目,做一些记录首先要检查一下前置条件检查是否安装ruby:ruby --version 我这里是已经安装了. 检 ...
python学习（三）scrapy爬虫框架（二）——创建一个scrapy爬虫
在创建新的scrapy爬虫之前,我们需要先了解一下创建一个scrapy爬虫的基本步骤第一步:确定要爬取的数据以爬取豆瓣电影数据为例: 每部电影所要爬取的信息有: 片名:<头号玩家> 导 ...
vue.js — 安装Webpake创建一个完整的项目并上传至码云
vue.js - 安装Webpake创建一个完整的项目并上传至码云今天总结一下之前几天学习的一整套的创建项目方法: 前提条件:已安装node.js.npm/cnpm最新版本.vue-cli. VS ...
创建一个分布式网络爬虫的故事
原文:The Tale of Creating a Distributed Web Crawler 作者:Benoit Bernard 译者:roy 编者按:作者通过创建和扩展自己的分布式爬虫,介绍了 ...
博途pcpg接口无法选择_博途TIA功能，如何创建一个S7-1200的项目及硬件组态？
今天给大家讲解一下博途软件的基本使用,我们从最开始的开始讲起,如何去创建一个S7-1200的项目,这其中就包括了几个步骤,包括:创建项目及硬件组态.添加程序块.建立变量表.程序的编写.#PLC编程# ...
Java web 开发填坑记 2 -如何正确的创建一个Java Web 项目
转载请标明出处:http://blog.csdn.net/zhaoyanjun6/article/details/72566261 本文出自[赵彦军的博客] Java web 开发填坑记 1-如何正确 ...
Nodejs 使用express模块创建一个服务器
使用express模块创建一个服务器新建一个文件夹,文件夹名字非中文,名字也不要和模块名字一样 npm init -y 初始化下载模块,去npm官网搜索模块,用他的说明来下如果下载失败,则用 n ...
Tycho build 3: 创建一个全局构建项目
在第一个Tycho教程中,我们创建了一个pom文件来存储我们的构建指令.文件中的内容将在以后重复介绍.因此我们将重构第一个项目,扩展通用设置到一个全局pom文件中. 实际上Tycho已经为我们做了一些 ...
idea如何创建一个新的项目
因为自己刚开始用的eclipse,后来的话也是自己转成idea,毕竟idea也是一种趋势了.今天分享一下如何创建一个项目(只针对新入门的哈,全程保姆级图片教学,高能无尿点) 1.首先我们要创建一个空的 ...

安装scrapy模块，创建一个Scrapy爬虫项目，并运行

二、创建爬虫项目

安装scrapy模块，创建一个Scrapy爬虫项目，并运行相关推荐

最新文章

热门文章