pyspider mysql 配置_pyspider 部署文档
因为pyspider 是有多个组件组成,所以你不仅可以启动标准的进程,你还可以使用第三方进程管理工作来单独管理组件甚至可以使用第三方的免费实例来运行.你也可以使用mysql或mongodb和RabbitMQ部署成集群.pyspider开发时设计成组件给部署带来了非常大的灵活性.
在生产环境,运行多个process和更多的存储数据库能够使系统更可靠和性能更好.
部署实例
配置文件config.json
虽然命令行启动时就可以指定参数,不过还是推荐配置文件方式,这样添加和修改参数更方便,如
{
"taskdb": "mysql+taskdb://username:password@host:port/taskdb",
"projectdb": "mysql+projectdb://username:password@host:port/projectdb",
"resultdb": "mysql+resultdb://username:password@host:port/resultdb",
"message_queue": "amqp://username:password@host:port/%2F",
"webui": {
"username": "some_name",
"password": "some_passwd",
"need-auth": true,
}
}
你可以运行pyspider –help查看帮助或运行pyspider 子命令 –help来获取子命令的帮助信息.配置文件是标准的JSON格式的.
数据库配置:Database Connection URI
“taskdb”,”projectdb”,”resultdb”数据配置格式如下:
mysql:
mysql+type://user:passwd@host:port/database sqlite:
# relative path
sqlite+type:///path/to/database.db # absolute path
sqlite+type:path/to/database.db # memory database
sqlite+type:// mongodb:
mongodb+type://[username:password@]host1[:port1][,host2[:port2],...[,hostN[:portN]]][/[database][?options]] more: http://docs.mongodb.org/manual/reference/connection-string/ sqlalchemy:
sqlalchemy+postgresql+type://user:passwd@host:port/database sqlalchemy+mysql+mysqlconnector+type://user:passwd@host:port/database more: http://docs.sqlalchemy.org/en/rel_0_9/core/engines.html local:
local+projectdb://filepath,filepath type:
should be one of `taskdb`, `projectdb`, `resultdb`.
消息队列服务:Message Queue URL
你可以使用如下方式指定消息队列配置信息:
<pre>rabbitmq:
amqp://username:password@host:5672/%2F
beanstalk:
beanstalk://host:11300/
redis:
redis://host:6379/
builtin:
None
pyspider -c config.json –phantomjs-proxy=”localhost:25555″ fetcher
pyspider -c config.json processor
pyspider -c config.json result_worker
[/shell]
启动webui
如果webui和scheduler没在同一台主机上,需要添加参数 `–scheduler-rpc`来指定scheduler
pyspider -c config.json webui
pyspider mysql 配置_pyspider 部署文档相关推荐
- IM开源项目OpenIM部署文档-从准备工作到nginx配置
IM开源项目OpenIM部署文档-从准备工作到nginx配置 2022-11-14 22:27·OpenIM 一.准备工作 运行环境 linux系统即可, Ubuntu 7.5.0-3ubuntu1~ ...
- 公司mysql部署文档_Mysql部署文档
安装mysql服务1tar -zxvf mysql-5.7.23-linux-glibc2.12-x86_64.tar.gz 2)更改解压缩后的文档夹名称1mv mysql-5.7.23-linux- ...
- java计算机毕业设计Web企业差旅在线管理系统源码+mysql数据库+系统+lw文档+部署
java计算机毕业设计Web企业差旅在线管理系统源码+mysql数据库+系统+lw文档+部署 java计算机毕业设计Web企业差旅在线管理系统源码+mysql数据库+系统+lw文档+部署 本源码技术栈 ...
- java计算机毕业设计html5健身房信息管理系统源码+mysql数据库+系统+lw文档+部署
java计算机毕业设计html5健身房信息管理系统源码+mysql数据库+系统+lw文档+部署 java计算机毕业设计html5健身房信息管理系统源码+mysql数据库+系统+lw文档+部署 本源码技 ...
- java计算机毕业设计河南省农村多元化养老服务管理系统设计与实现源码+mysql数据库+系统+lw文档+部署
java计算机毕业设计河南省农村多元化养老服务管理系统设计与实现源码+mysql数据库+系统+lw文档+部署 java计算机毕业设计河南省农村多元化养老服务管理系统设计与实现源码+mysql数据库+系 ...
- java计算机毕业设计京东仓库管理系统源码+mysql数据库+系统+lw文档+部署
java计算机毕业设计京东仓库管理系统源码+mysql数据库+系统+lw文档+部署 java计算机毕业设计京东仓库管理系统源码+mysql数据库+系统+lw文档+部署 本源码技术栈: 项目架构:B/S ...
- java计算机毕业设计家教平台系统源码+mysql数据库+系统+lw文档+部署
java计算机毕业设计家教平台系统源码+mysql数据库+系统+lw文档+部署 java计算机毕业设计家教平台系统源码+mysql数据库+系统+lw文档+部署 本源码技术栈: 项目架构:B/S架构 开 ...
- java计算机毕业设计吉他库存管理源码+mysql数据库+系统+lw文档+部署
java计算机毕业设计吉他库存管理源码+mysql数据库+系统+lw文档+部署 java计算机毕业设计吉他库存管理源码+mysql数据库+系统+lw文档+部署 本源码技术栈: 项目架构:B/S架构 开 ...
- java计算机毕业设计高校心理测评管理系统源码+mysql数据库+系统+lw文档+部署
java计算机毕业设计高校心理测评管理系统源码+mysql数据库+系统+lw文档+部署 java计算机毕业设计高校心理测评管理系统源码+mysql数据库+系统+lw文档+部署 本源码技术栈: 项目架构 ...
最新文章
- mysql怎么测试事物_mysql事务简单测试
- 蓝卡获得地_德国蓝卡究竟是什么?为什么这么多人都想移民德国?
- JAVA自动补全插件
- 组件skype服务器,Skype for Business Server 中的中介服务器组件
- python得到一个10位随机数的方法及拓展
- [蓝桥杯2018决赛]换零钞-枚举
- mysql in 截断_MySQL十进制字段’数据在第1行的第x列被截断’问题
- 【jvm】jvm 网络使用率 nicstat
- [Oracle][Standby][PDB]在PDB中修改参数,设置范围为 SPFILE,报 ORA-65099错误
- GIS之旅——大学本科总结
- 03K个数或第k个数算法
- Spring 的定时任务--Quartz
- iis6.0渗透实战笔记
- 第三届全国平面公益广告大赛暨全国大学生公益广告征集活动
- SolidWorks DocumentManager LicenseKey
- sending data 慢SQL原因排查命令
- java-JDK11“ jstat -gc”中“ CGC”和“ CGCT”是什么意思?
- PHP学习笔记-Session
- requests接口自动化测试
- 云享团——基于大数据开发套件的增量同步策略
热门文章
- 电赛分几种_参加电赛需要具备哪些知识呢?
- 计算机网络职称考试试题,职称考试Internet题库9-职称计算机考试网络应用试卷与试题.pdf...
- 易优CMS:field的基础用法
- 一篇文告诉你,当贝超短焦激光投影U1研发“内幕”
- AUTOCAD(二)绘制立体图
- 大数据挖掘-伤寒论和金匮要略(COVID-19用药启示录,1.4万字收藏)
- MySQL菜鸟学习笔记
- 物联网的四大支撑技术(简述总结)
- 计算机与信息安全专业英语,信息安全综述外文翻译中英文对照.pdf
- mysql索引和sphinx_基于SphinxMySQL的高效人脉索引方法与流程