爬虫总结(三)-- cloud scrapy
发现了一个比较好玩的东西,scrapinghub,试着玩了一下 cloud scrapy,因为就它是免费的。。最大优点是可以将爬虫可视化。这里就简单记录一下它怎么用。
注册账号 & 新建 scrapy cloud project
在scrapyinghub 官网 注册账号
登录后 create project,在新建的项目下,查看 Code & Deploys,找到 API key 和 Project ID
Deploy your project
$ pip install shub
login 并输入 API key
$ shub login Enter your API key from https://dash.scrapinghub.com/account/apikey API key: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx Validating API key... API key is OK, you are logged in now.
deploy 并输入 Project ID
$ shub deploy ProjectID Packing version ed6b3b8-master Deploying to Scrapy Cloud project "76180" {"status": "ok", "project": 76180, "version": "ed6b3b8-master", "spiders": 1} Run your spiders at: https://dash.scrapinghub.com/p/76180/
Schedule your spider
在自己的项目面板下选择 run spider 开启爬虫,也可以通过命令行开启。
shub schedule Zhidao Spider Zhidao scheduled, job ID: 76153/2/2 Watch the log on the command line:shub log -f 2/2 or print items as they are being scraped:shub items -f 2/2 or watch it running in Scrapinghub's web interface:https://dash.scrapinghub.com/p/76153/job/2/3
看最新的 log 和 items
JOBID格式:2/2, 2/1 …
shub log JOBID shub items JOBID
或者 Dashboard 查看结果
通过 Dashbord 还可以实时监控 crawler job 的情况,发出的请求数,抓取的 item 数,log 和 error 信息,执行的时间等,都一目了然。
Save items
curl -u APIkey: http://storage.scrapinghub.com/items/76153/2/2 > items.json
分布式爬虫
cloud scrapy 也提供了分布式爬虫的选择,当然是付费的。
Crawlera
强悍的 Crawlera 提供了防止 ban 的机制,通过 ip、user-agent、cookie 等设置,防止爬虫被禁,详见 billing
完整代码
参考链接:
http://doc.scrapinghub.com/scrapy-cloud.html#deploying-a-scrapy-spider原文地址: http://www.shuang0420.com/2016/06/15/%E7%88%AC%E8%99%AB%E6%80%BB%E7%BB%93-%E4%B8%89-scrapinghub/
爬虫总结(三)-- cloud scrapy相关推荐
- Python爬虫进阶三之Scrapy框架安装配置
初级的爬虫我们利用urllib和urllib2库以及正则表达式就可以完成了,不过还有更加强大的工具,爬虫框架Scrapy,这安装过程也是煞费苦心哪,在此整理如下. Windows 平台: 我的系统是 ...
- Python 爬虫进阶三之 Scrapy 框架安装配置
初级的爬虫我们利用 urllib 和 urllib2 库以及正则表达式就可以完成了,不过还有更加强大的工具,爬虫框架 Scrapy,这安装过程也是煞费苦心哪,在此整理如下. 官网 官方安装文档 安装p ...
- python爬虫架构设置_Python爬虫进阶三之Scrapy框架安装配置
初级的爬虫我们利用urllib和urllib2库以及正则表达式就可以完成了,不过还有更加强大的工具,爬虫框架Scrapy,这安装过程也是煞费苦心哪,在此整理如下. Windows 平台: 我的系统是 ...
- python学习(三)scrapy爬虫框架(二)——创建一个scrapy爬虫
在创建新的scrapy爬虫之前,我们需要先了解一下创建一个scrapy爬虫的基本步骤 第一步:确定要爬取的数据 以爬取豆瓣电影数据为例: 每部电影所要爬取的信息有: 片名:<头号玩家> 导 ...
- python爬虫实战:利用scrapy,短短50行代码下载整站短视频
近日,有朋友向我求助一件小事儿,他在一个短视频app上看到一个好玩儿的段子,想下载下来,可死活找不到下载的方法.这忙我得帮,少不得就抓包分析了一下这个app,找到了视频的下载链接,帮他解决了这个小问题 ...
- 爬虫-windows下安装Scrapy及scrapy模块介绍
一:安装wheel wheel介绍 二:安装twisted twisted是由python编写的一款基于事件驱动的网络引擎,使用twisted模块将python的异步请求(异步模型介绍)成为可能且简 ...
- 爬虫 第六讲 Scrapy框架
文章目录 爬虫 第六讲 Scrapy框架 一.Scrapy框架 Scrapy简介 工作流程 Scrapy入门 pipline使用 1.scrapy.Request知识点 2.item的介绍和使用 3. ...
- [python爬虫之路day19:] scrapy框架初入门day1——爬取百思不得姐段子
好久没学习爬虫了,今天再来记录一篇我的初入门scrapy. 首先scrapy是针对大型数据的爬取,简单便捷,但是需要操作多个文件以下介绍: 写一个爬虫,需要做很多的事情.比如: 发送网络请求, 数据解 ...
- 【视频教程免费领取】聚焦Python分布式爬虫必学框架Scrapy 打造搜索引擎
领取方式 关注公众号,发送Python0407获取下载链接. 扫码关注公众号,公众号回复 Python0407 获取下载地址 目录结构 目录:/读书ReadBook [57.6G] ┣━━48G全套J ...
最新文章
- magento模板区块--首页content区块
- 全球气候变迁 物联网技术为农业保驾护航
- diamond源码阅读-diamond-client
- wu** C语言注意点
- JDK源码学习之一lang包
- struts2的struts.properties配置文件详解 (转)
- winform读写config文件
- 阿里云季度营收首次超200亿 云计算进入自研技术时代
- 表单式工作流功能模块设计方案
- 3套看漫画学python视频教程
- 大学生性价比计算机推荐,2018大学生笔记本推荐_良心笔记本推荐【性价比之王】-太平洋电脑网...
- 推荐系统的因果关系感知邻域方法:Causality-Aware Neighborhood Methods for Recommender Systems(ECIR,2021)
- 全球酷站中心 html5网站,除了Behance,还有哪些优质设计资源站
- 公司声明:Selina伤情稳定 Hebe及Ella工作继续
- 在vue中使用unity3D实现webGL将要呈现的效果
- 【附源码】计算机毕业设计JAVA中国历史网站
- ORA-12547: TNS:lost contact 问题处理
- .net framework 3.5 dotNetFx35setup 能不需要网络支持吗?
- vscode + cmake调试配置
- VMware ESXi启动卡在 vmkibft loaded successfully
热门文章
- lucene 异常 Lock obtain timed out 解决方法
- Overload 和Override 的区别
- Tensorflow 错误总结:ImportError: cannot import name add_newdocs.
- 凸优化问题工具包cvxpy安装
- 云炬随笔20211010(4)
- tkFileDialog报错,模块未找到出错:没有名字叫做 tkFileDialog 的模块
- python :案例:银行卡
- oracle数据库link格式,Oracle创设DB Link
- 前深度学习时代CTR预估模型的演化之路 [王喆观点]
- MatConvnet工具箱文档翻译理解(4)