爬取steam上热门游戏的价格，网址，评价数据

我学爬虫是始于装叉，但是装叉动力不够，老师大作业要我们学，无奈，这里试着用python爬取steam动态网页的数据，挺简单的

# -*- coding: utf-8 -*-
# @Author:胡澳治
import requests
from lxml import etreedef trans(data_list, type):if len(data_list) == 0:return "空"elif type == "price":for data in data_list:if data.find("￥") != -1:return data.strip()if len(data_list) == 2:return data_list[1].strip()else:return data_list[0].strip()elif type == "time":return data_list[0].replace(","," ")elif type == "review":return data_list[0].replace(",","")else:return data_list[0]headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.72 Safari/537.36 Edg/89.0.774.45'
}with open("steamData.txt","w",encoding="utf-8") as fp:fp.write("游戏名称,游戏价格,游戏网址,游戏图像地址,游戏发布时间,游戏评价,")for page in range(160):post_url = format("https://store.steampowered.com/search/results/?query&start=%d&count=50&dynamic_data=&sort_by=_ASC&os=win&snr=1_7_7_7000_7&filter=topsellers&infinite=1"%(page*50))print(post_url)page_text = requests.get(url=post_url, headers=headers).json()page_text = page_text["results_html"]tree = etree.HTML(page_text)# print(page_text)all_games_list = tree.xpath('//a')fp.write('\n')for game in all_games_list:game_url = game.xpath('./@href')game_url = trans(game_url,"")game_img_src = game.xpath('.//img/@src')game_img_src = trans(game_img_src,"")game_title = game.xpath('.//span[@class="title"]/text()')game_title = trans(game_title,"")game_time = game.xpath('./div[2]/div[2]/text()')game_time = trans(game_time,"time")game_review = game.xpath('./div[2]/div[3]/span/@data-tooltip-html')game_review = trans(game_review,"review")game_price = game.xpath('./div[2]/div[4]/div[2]/text()')game_price = trans(game_price,"price")fp.write(game_title+",")fp.write(game_price+",")fp.write(game_url+",")fp.write(game_img_src+",")fp.write(game_time+",")fp.write(game_review+",")# print(game_review)fp.write('\n')print(page+1,"/160")

后期这里爬出来是txt文件，以逗号分隔，改拓展名为.csv，编码格式改为ANSI即可在excel表格中显示并且不会乱码

爬取steam上热门游戏的价格，网址，评价数据相关推荐

steam夏日促销用Python爬取排行榜上的游戏打折信息
不知不觉,一年一度如火如荼的 steam 夏日促销悄然开始了.每年通过大大小小的促销,我的游戏库里已经堆积满还未下载过的游戏.但所谓"买到就是赚到,G胖一定大亏"的想法日渐流行,指 ...
steam夏日促销悄然开始，用Python爬取排行榜上的游戏打折信息
前言很多人学习python,不知道从何学起. 很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手. 很多已经做案例的人,却不知道如何去学习更加高深的知识. 那么针对这三类人,我给大 ...
steam夏日促销悄然开始，用Python爬取排行榜上的游戏打折信息！
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 不知不觉,一年一度如火如荼的steam夏日促销悄然开始了.每年通过大大小小 ...
爬取github上热门项目并绘制图表
github上的项目都存储在仓库中,本篇文章编写了一个程序可自动获取这些项目的具体信息,并将信息可视化展示出来. 1.使用API调用请求数据并处理API响应直接在浏览器中输入https://api. ...
用python爬取3dm上的单机游戏评测信息
用python爬取3dm上的单机游戏评测信息参考结果 #爬取3dm上单机游戏评测榜,50页的相关信息import requests from lxml import etree headers={& ...
python爬取电影评分_用Python爬取猫眼上的top100评分电影
代码如下: # 注意encoding = 'utf-8'和ensure_ascii = False,不写的话不能输出汉字 import requests from requests.exception ...
英文名看不懂？爬取steam游戏中文优惠信息
需求分析昨天,我发布了爬取steam游戏优惠信息的程序,可是呢,很快啊,有一个年轻人找到我说,"仙老师,你这个程序我用了,有问题!" 我立刻问到,"发生甚么事了,我说这 ...
茅台酒如何转卖？价格如何才最合理？爬取公众号后每天自动发送价格到钉钉如何呢?
最近i茅台非常火,同时火起来的还有茅台价格-于是想了一个思路写了部分内容,希望能够有所帮助具体步骤: 打开公众号,下载图片,图片识别,确认自己想要的内容–发送钉钉. 下面为爬取公众号代码模块 # ...
java爬虫京东商品,Java爬虫实现爬取京东上的手机搜索页面 HttpCliient+Jsoup
1.需求及配置需求:爬取京东手机搜索页面的信息,记录各手机的名称,价格,评论数等,形成一个可用于实际分析的数据表格. 使用maven项目,log4j记录日志,日志仅导出到控制台. maven依赖如下 ...

爬取steam上热门游戏的价格，网址，评价数据

爬取steam上热门游戏的价格，网址，评价数据相关推荐

最新文章

热门文章