爬虫抓取c5game饰品交易数据

本来想今天接着复习计算机网络的，结果晚饭后看到有人写抓取steam的数据，然后、、、手就痒痒起来。最近正好在igxe和c5game上倒卖饰品，平时一个个点开，真的巨麻烦

简单的写了下csgo的，只爬取了c5game的饰品的名称，最低价，周销量以及总销量，顺便把steam上该饰品的市场url也抓了出来

下面便是代码：

# -*- coding: utf-8 -*-
"""
Created on Mon Dec 04 22:38:17 2017@author: dala_da
"""import urllib2
import rep=re.compile(r'''<p class="name"><a href="(.+?)"><span class=" text-unique ">(.+?)</span></a></p><p class="info"><span class="pull-left">.+<span class="price">￥(.+?)</span> .+                                </span><span class="num">(.+)                                </span>''')for i in range(10):                    target=('https://www.c5game.com/csgo/default/result.html?locale=zh&page=%d') %iurl1=urllib2.urlopen(target)result_csgo_menu=url1.read()match_csgo_menu=p.findall(result_csgo_menu)for row in match_csgo_menu:address=row[0]name=row[1]c5game_price=row[2]count=row[3]print name, c5game_price,count

运行结果：

2017-12-06更

好像正则表达式写的很low，重新改了下，顺便把c5game上给出的steam预测价也抓了出来，比对c5game售价和steam预测价，差价狠狠赚一波

import urllib2
import rep=re.compile(r'''<p class="name">\s+<a href="(.+?)"><span class=" text-unique ">(.+?)</span></a>\s+</p>\s+<p class="info">\s+<span class="pull-left">\s+.+<span class="price">￥(.+?)</span> .+\s+</span>\s+<span class="num">\s+(.+)\s+</span>''')q=re.compile(r'''<div class="hero">\s+<span>Reference: .+\( about ￥ (.+?) \)</span>''')for i in range(10):                    target=('https://www.c5game.com/csgo/default/result.html?locale=zh&page=%d') %iurl1=urllib2.urlopen(target)result_csgo_menu=url1.read()match_csgo_menu=p.findall(result_csgo_menu)for row in match_csgo_menu:address=row[0]name=row[1]c5game_price=float(row[2])count=row[3]c5game_address='https://www.c5game.com/'+addressurl_c5game_thing=urllib2.urlopen(c5game_address)result_c5game_thing=url_c5game_thing.read()match_thing=q.findall(result_c5game_thing)predict_price=float(match_thing[0])print '%s\t%s' %(name,count)print 'c5最低价：%f\t\tsteam预测价：%f' %(c5game_price,predict_price)

不过好像c5给出的预测价不太准，我尝试抓了一下steam市场的数据，发现货币种类不同，我只能够抓取我大天朝玩家出售的饰品，而天朝玩家饰品占的总数不算太多，差不多1/5，好像没什么参考性，等以后研究出怎么统一货币再更新一下

爬虫抓取c5game饰品交易数据相关推荐

用爬虫抓取动态加载数据丨Python爬虫实战系列(6)
提示:最新Python爬虫资料/代码练习>>戳我直达前言抓取动态加载数据话不多说,开练! 爬虫抓取动态加载数据确定网站类型首先要明确网站的类型,即是动态还是静态.检查方法:右键查 ...
Python爬虫抓取东方财富网股票数据并实现MySQL数据库存储（转）
Python爬虫可以说是好玩又好用了.现想利用Python爬取网页股票数据保存到本地csv数据文件中,同时想把股票数据保存到MySQL数据库中.需求有了,剩下的就是实现了. 在开始之前,保证已经安装好 ...
python抓取数据库数据_Python爬虫抓取东方财富网股票数据并实现MySQL数据库存储...
Python爬虫可以说是好玩又好用了.现想利用Python爬取网页股票数据保存到本地csv数据文件中,同时想把股票数据保存到MySQL数据库中.需求有了,剩下的就是实现了. 在开始之前,保证已经安装好 ...
python爬虫实现股票数据存储_Python爬虫抓取东方财富网股票数据并实现MySQL数据库存储！...
Python爬虫可以说是好玩又好用了.现想利用Python爬取网页股票数据保存到本地csv数据文件中,同时想把股票数据保存到MySQL数据库中.需求有了,剩下的就是实现了. 在开始之前,保证已经安装好 ...
python爬虫爬取股票软件数据_Python爬虫抓取东方财富网股票数据并实现MySQL数据库存储（转载）...
完整代码实际上,整个事情完成了两个相对独立的过程:1.爬虫获取网页股票数据并保存到本地文件:2.将本地文件数据储存到MySQL数据库.并没有直接的考虑把从网页上抓取到的数据实时(或者通过一个临时文件 ...
Python爬虫抓取东方财富网股票数据并实现MySQL数据库存储
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资 ...
MySQL 怎么插入10天前的日期_Python爬虫抓取东方财富网股票数据并实现MySQL数据库存储！...
Python爬虫可以说是好玩又好用了.现想利用Python爬取网页股票数据保存到本地csv数据文件中,同时想把股票数据保存到MySQL数据库中.需求有了,剩下的就是实现了. 在开始之前,保证已经安装好 ...
python爬虫抓取动态网页数据_python网络爬虫抓取ajax动态网页数据：以抓取KFC门店地址为例...
一,尝试用BeautifulSoup抓取先打开KFC网站门店列表页面:http://www.kfc.com.cn/kfccda/storelist/index.aspx 可以看到门店列表如下图: 打 ...
stata抓取html,（5）详解 stata 爬虫抓取网页上的数据 part 1
*案例:抓取 http://www.tjcn.org 中国统计信息网上前50页(每页包含20个市的数据)的1000个地区的GDP数据.使用stata版本为 stata13,与12版本和14版本都不兼容 ...

爬虫抓取c5game饰品交易数据

爬虫抓取c5game饰品交易数据相关推荐

最新文章

热门文章