支持正版，从我做起！

最近发售的游戏不少，刚好又在学习爬虫，于是就灵光一闪去3DM爬了个单机大作排行榜TOP200，过程代码结果如下。

首先，我们需要知道我们要爬取哪些信息，看到排行榜里的游戏项可以确定有名字、发售日期、评分和网址还有其他一些描述信息这五项内容。

打开Chrome开发者工具，找到五项信息对应的标签，可以发现发售日期和其他一些信息都包含在一个

• 表格中，可以将发售日期单独提取出来作为一项数据。

然后分析一下单机大作列表的url，发现页码和zq有关，zq_a就是第a页，而第一页zq和zq_1显示的是一个页面，而每个页面包含20个游戏信息(让我们忽略第一个真-3DM大作)，爬取前10页得到TOP210的游戏信息。

接下来就是代码的编写，代码分为数据的爬取与清洗和数据的入库两个基本函数，非常简单。

import requests

import pymongo

import csv

import xlwt

from bs4 import BeautifulSoup

base_url = 'https://www.3dmgame.com/games/zq_'

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) \

Chrome/85.0.4181.9 Safari/537.36'

}

proxies = {}

# 爬取游戏排行榜

def game_spider():

games = []

for i in range(1, 11):

url = base_url + str(i) + '/'

response = requests.get(url, headers=headers, proxies=proxies)

if response:

page_source = response.text

result = BeautifulSoup(page_source, 'html.parser')

# 游戏名

game_names = result.find_all('a', class_='bt')

game_urls = []

# 游戏链接, 提取游戏名标签的href属性即可

for game_name in game_names:

game_url = game_name['href']

game_urls.append(game_url)

# 发售日期

game_lis = result.find_all('li')

game_dates = []

for game_li in game_lis:

if "发售：" in game_li.text:

game_date = game_li.text.replace('发售：', '').replace(' ', '')

game_dates.append(game_date)

# 其他信息

game_infos = result.find_all('ul', class_='info')

# 评分

game_ranks = result.find_all('div', class_='scorewrap')

for j in range(0, len(game_names)):

game_name = game_names[j].text.replace('\n', '').replace(' ', '')

game_info = game_infos[j].text.replace('\n', '').replace(' ', '')

game_rank = game_ranks[j].text.replace('\n', '').replace(' ', '')

game_data = {'game_name': game_name, 'game_date': game_dates[j], 'game_info': game_info, 'game_rank': \

game_rank, 'game_url': game_urls[j]}

if game_data['game_name'] != '斗罗大陆3D':

games.append(game_data)

return games

def save_csv(games):

csvfile = open('games.csv', 'w', newline='', encoding='utf-8')

writer = csv.writer(csvfile)

writer.writerow(['游戏名', '发售日期', '其他信息', '评分', '网址'])

for i in range(0, len(games)):

game = [games[i]['game_name'], games[i]['game_date'], games[i]['game_info'], games[i]['game_rank'], \

games[i]['game_url']]

writer.writerow(game)

csvfile.close()

print('csv文件制作完成')

def save_mongodb(games):

client = pymongo.MongoClient('localhost', 27017)

db = client['DB']

game_collection = db.games

game_collection.insert_many(games)

print('入库完成')

def save_excel(games):

wb = xlwt.Workbook()

ws = wb.add_sheet('games', cell_overwrite_ok=True)

alignment = xlwt.Alignment()

alignment.horz = xlwt.Alignment.HORZ_CENTER

alignment.vert = xlwt.Alignment.VERT_CENTER

pattern = xlwt.Pattern()

pattern.pattern_fore_colour = 3

font = xlwt.Font()

font.bold = True

style = xlwt.XFStyle()

basestyle = xlwt.XFStyle()

basestyle.alignment = alignment

style.alignment = alignment

style.pattern = pattern

style.font = font

ws.write_merge(0, 0, 0, 5 , '3DM单机大作排行榜TOP210', style)

titles = ['游戏名', '发售日期与平台', '其他信息', '评分', '网址']

for i in range(0, 5):

ws.write(1, i, titles[i], basestyle)

for i in range(2, len(games)):

ws.write(i, 0, games[i-1]['game_name'], style)

ws.write(i, 1, games[i-1]['game_date'], basestyle)

ws.write(i, 2, games[i-1]['game_info'], basestyle)

ws.write(i, 3, games[i-1]['game_rank'], style)

ws.write(i, 4, games[i-1]['game_url'], basestyle)

wb.save('单机游戏排行榜TOP210.xls')

print('Excel表制作完成')

if __name__ == "__main__":

games = game_spider()

save_csv(games)

save_mongodb(games)

save_excel(games)

运行代码，可以从看到Excel、csv和MongoDB里面都已经写入了内容。

接下来对Excel里的榜单按评分进行排序。

可以看到，最近名声大燥的几款大作都上了榜但评分都不算很高，两款未上线的游戏也是如此，所以我对这个排行榜持怀疑态度，不知道各位网友们怎么看。