pyspider抓取数字货币价格bitcoin

上一篇文章讲了pyspider的安装（ubuntu18）

第一步，找数据源，发现数据源url的pattern

试试抓取数字货币价格，

数据源：https://coinmarketcap.com/zh/currencies/bitcoin/

点击历史数据，然后选择开始结束日期：

https://coinmarketcap.com/zh/currencies/bitcoin/historical-data/?start=20190201&end=20190228

可以发现查询历史价格的URLpattern，

base_url=https://coinmarketcap.com/zh/currencies/bitcoin/historical-data/?start=xx&end=yy

xx=开始时间，yyyymmdd

yy=结束时间，yyyymmdd

爬虫默认模板代码：

    def on_start(self):base_url='https://coinmarketcap.com/zh/currencies/bitcoin/historical-data/?start=#START#&end=#END#'year_list=['2015','2016','2017','2018']month_list=range(1,13)for year in year_list:for month in month_list:start_date=year+str(month).rjust(2,'0')+'01'end_date=year+str(month).rjust(2,'0')+'31'self.crawl(base_url.replace('#START#',start_date).replace('#END#',end_date), callback=self.detail_page)

从2015年01月开始抓取，到2018年12月。

需要注意的是每个月都按照31天处理的，尝试了网页可以正常返回不会报错。

第二步，解析页面内容

构造好url地址后，就是解析页面内容了。

修改爬虫模板代码：

    def detail_page(self, response):return {"url": response.url,"title": response.doc('title').text(),"text_right":response.doc('tr.text-right').text()}

添加了字段，text_right，这个字段就是网页table的正文。提取出正文后，还要将数据切分为一行一行的，然后每一行映射为特定字段，保存到文本csv或者数据库中，这些如果需要自行实现下吧。

上面稍微麻烦的是定位需提取内容的css的表达式。这本来是一件比价恶心（耗时，易错）的事情，我上学那阵子是很烦这个的。不过，pyspider已经做了非常强大的封装处理，网页上可以可视化选择，自动生成css选择的表达式，直接使用就行了。

这个我也是第一次使用，不妨演示下

一般点击1,2,4就行了，不用复制出来，点击4之前光标移动到输入选择器位置就行了。

第三步，保存结果

通过重写on_result方法保存结果，

例如：

def on_result(self,result):if not result or not result['original_id']:returnsql = SQL()sql.insert('t_dream_xm_project',**result)

这里的每个result都是上面构造的map形式数据，本文中是key为url，title，text_right的map

这里的text_right是包含所有行列的文本串，需要进一步解析。

解析的工作有时候放到第二步也可以，第二步中text_right可以直接构造为list返回过来，个人更喜欢抓取和解析包村分离操作，抓取只负责将数据load下来，至于后续解析由其他模块负责。

还有一种更好的思路是直接获取到对方网址拉取数据的接口，通过直接向接口发送查询数据获得结构化的数据，然后直接解析入库。这种方式基本上不需要爬虫进行css选择器之类的处理了。

其他可参考技术

1,，使用代理
验证代理有效性：
参考：https://www.jianshu.com/p/588241a313e7
import requests
try:
requests.get('http://wenshu.court.gov.cn/', proxies={"http":"http://121.31.154.12:8123"})
except:
print 'connect failed'
else:
print 'success'
后续可以使用专业代理工具：squid

2，伪装浏览器头部
fake-useragent库：伪装浏览器Header
参考：https://blog.csdn.net/jmshl/article/details/88687752

pyspider抓取数字货币价格bitcoin相关推荐

【爬虫】【原创】pyspider抓取XX图片
灵感来源: https://zhuanlan.zhihu.com/p/31421316 抓取页面: https://www.nvshens.com/tag/new/ 页面分析: 首页获取所有图片详情页 ...
【爬虫】【原创】pyspider抓取宅男女神美女图片
灵感来源: https://zhuanlan.zhihu.com/p/31421316 抓取页面: https://www.nvshens.com/tag/new/ 页面分析: 首页获取所有图片详情页 ...
大众点评爬虫抓取数字文字解密
分析网页内容原网址:https://www.dianping.com/zhengzhou/ch0 大家在抓取网页的时候会遇到各种问题,比如字体加密,但是当我爬取大众点评网站的时候发现,它里面的字体以 ...
Python + PySpider 抓取百度图片搜索的图片
说明 1.PySpider 是一个方便并且功能强大的Python爬虫框架 2.PySpider 依赖于PhantomJS 3.windows平台,PySpider 与64位的Python兼容不太好,需 ...
pyspider抓取伯乐在线python相关所有文章
有点软用的pyspider中文文档(这个翻译的和谷歌翻译差不多,如果没有谷歌翻译插件的可以考虑) 英文官方文档(谷歌翻译后完全能看懂,不像python官方的,第三方库的都比较友好) 伯乐在线pytho ...
分页请求json数据_Python爬虫入门教程 28-100 虎嗅网文章数据抓取 pyspider
1. 虎嗅网文章数据----写在前面今天继续使用pyspider爬取数据,很不幸,虎嗅资讯网被我选中了,网址为 https://www.huxiu.com/ 爬的就是它的资讯频道,本文章仅供学习交流 ...
python爬虫之app数据抓取_Python爬虫入门教程 29-100 手机APP数据抓取 pyspider
1. 手机APP数据----写在前面继续练习pyspider的使用,最近搜索了一些这个框架的一些使用技巧,发现文档竟然挺难理解的,不过使用起来暂时没有障碍,估摸着,要在写个5篇左右关于这个框架的教程 ...
python爬虫专家_Python爬虫入门教程 27-100 微医挂号网专家团队数据抓取pyspider
1. 微医挂号网专家团队数据----写在前面今天尝试使用一个新的爬虫库进行数据的爬取,这个库叫做pyspider,国人开发的,当然支持一下. 安装起来是非常简单的 pip install pyspi ...
Python爬虫入门教程 27-100 微医挂号网专家团队数据抓取pyspider
1. 微医挂号网专家团队数据----写在前面今天尝试使用一个新的爬虫库进行数据的爬取,这个库叫做pyspider,国人开发的,当然支持一下. github地址: https://github.com ...

pyspider抓取数字货币价格bitcoin

pyspider抓取数字货币价格bitcoin相关推荐

最新文章

热门文章