Scrapy学习-25-Scrapyd部署spider

Scrapyd部署爬虫项目

github项目

https://github.com/scrapy/scrapyd

官方文档

http://scrapyd.readthedocs.org/

安装scrapyd

http://scrapyd.readthedocs.io/en/stable/install.html

运行

# 在虚拟环境中使用scrapd命令# scrapyd是一个服务器监听在本地的6800端口

scrapyd

安装scrapd客户端

pip install scrapyd-client# 用于项目打包# python路径的Script目录下发现生成了一个scrapyd-deploy的文件

打包项目到scrapyd中

编辑scrapy.cfg

# 打开scrapyd服务
[deploy:name]url = http://localhost:6800/project = ArticleSpider

进入爬虫项目目录

cd E:\Python Project\scrapyproject\ArticleSpider

运行scrapyd-deploy文件

# 由于没有后缀不能运行# 解决办法：新建一个文件scrapd-deploy.bat，写入下面数据

@echo off"E:\Python Project\venvdir\scrapyenv3\Scripts\python.exe" "E:\Python Project\venvdir\scrapyenv3\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9 # 再次执行发现可以使用了

scrapyd-deploy -l # 默认自己读取scrapy.cfg内容# 如果出现importError问题注意# import sys
# BASE_DIR = os.path.dirname(os.path.abspath(os.path.dirname(__file__)))
# sys.path.insert(0, os.path.join(BASE_DIR, 'ArticleSpider'))# 打包spider项目

scrapyd-deploy name -p ArticleSpider# E:\Python Project\venvdir\scrapyenv3\Scripts\eggs\ArticleSpider\xxxx.egg# scrapyd-deploy将项目打包成一个后缀为egg的文件，发送到scrapyd服务器

部署项目

接口认识

http://scrapyd.readthedocs.io/en/stable/api.html

部署命令

curl http://localhost:6800/schedule.json -d project=ArticleSpider -d spider=myspider# 返回 {"status": "ok", "jobid": "6487ec79947edab326d6db28a2d86511e8247444"}# 刷新scrapy管理页面可以发现新的项目

项目管理

参考官方文档

转载于:https://www.cnblogs.com/cq146637/p/9093717.html

Scrapy学习-25-Scrapyd部署spider相关推荐

Scrapyd部署scrapy项目
scrapyd部署scrapy项目 1. scrapyd的介绍 2. scrapyd的安装 3. 启动scrapyd服务 4. scrapy项目部署 4.1 配置需要部署的项目 4.2 部署项目到sc ...
Python爬虫框架Scrapy 学习笔记 6 ------- 基本命令
1. 有些scrapy命令,只有在scrapy project根目录下才available,比如crawl命令 2 . scrapy genspider taobao http://detail.tm ...
scrapy学习笔记（二）进阶使用
From:https://www.imooc.com/article/21839 scrapy提升篇之配置:https://segmentfault.com/a/1190000009321902 前面 ...
Scrapy学习路线
文章目录一.编写Spider 1.1 Scrapy框架结构和工作原理 1.2 Request和Response对象 1.3 Spider开发流程 1.4 编写第一个Scrapy爬虫二.Select ...
创新实训(2)-Scrapy 学习
创新实训(2)-Scrapy 学习参考资料:Scrapy 0.25 文档 1.Scrapy简介 Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架. 可以应用在包括数据挖掘,信息处理 ...
基于Scrapy+redis+mongodb+scrapyd+scrapydweb+Pandas+BI的可视化操作分布式网络爬虫数据可视化分析
提示:所有代码已经开源到最大同性交友网站,有兴趣的朋友可以试试:Git地址未经作者允许不得私自转发请注明原作者:https://blog.csdn.net/qq_52420866/article/ ...
scrapyd部署爬虫项目到LINUX服务器
1,首先把scrapy爬虫项目上传到服务器我的服务器架设在公司内网里.所以在这里使用WinSCP作为上传工具. 2,修改项目的配置文件scrapy.cfg 给爬虫项目指定分组,具体方法是在deplo ...
Scrapy:学习笔记(2)——Scrapy项目
Scrapy:学习笔记(2)--Scrapy项目 1.创建项目创建一个Scrapy项目,并将其命名为"demo" scrapy startproject demo cd demo ...
Scrapy学习第四课
python爬虫框架scrapy学习第四课任务:爬取凤凰网导航下所有一级.二级和具体新闻数据执行:爬虫实例结果:爬取结果展示任务:爬取凤凰网导航下所有一级.二级和具体新闻数据凤凰网导航一级 ...

Scrapy学习-25-Scrapyd部署spider

Scrapyd部署爬虫项目

Scrapy学习-25-Scrapyd部署spider相关推荐

最新文章

热门文章