怎么把4399小游戏的代码_25行代码带你爬取4399小游戏数据，看下童年的游戏是否还在...

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

还记得童年的网页小游戏吗？今天带大家爬取4399小游戏网站的数据，游戏名字+链接地址

目标网站

http://www.4399.com/

基本环境配置

python 3.6
pycharm
requests
parsel
csv

爬虫代码

导入需要用到的工具

1import requests
2import parsel
3import csv

请求网页

1    url = 'http://www.4399.com/flash_fl/5_{}.htm'.format(page)
2    headers = {
3        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
4    }
5    response = requests.get(url=url, headers=headers)
6    response.encoding = response.apparent_encoding

解析网页，爬取数据

1    for li in lis:
2        dit ={}
3        data_url = li.css('a::attr(href)').get()
4        new_url = 'http://www.4399.com' + data_url.replace('http://', '/')
5        dit['游戏地址'] = new_url
6        title = li.css('img::attr(alt)').get()
7        dit['游戏名字'] = title
8        print(new_url, title)

保存数据

1f = open('4399游戏.csv', mode='a', encoding='utf-8-sig', newline='')
2
3csv_writer = csv.DictWriter(f, fieldnames=['游戏地址', '游戏名字'])
4csv_writer.writeheader()
5f.close()

运行代码，效果如下图

每秒200条数据，超快的爬取速度

怎么把4399小游戏的代码_25行代码带你爬取4399小游戏数据，看下童年的游戏是否还在...相关推荐

python爬取4399小游戏数据_25行代码带你爬取4399小游戏数据，看下童年的游戏是否还在...
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 还记得童年的网页小游戏吗?今天带大家爬取4399小游戏网站的数据,游戏名字+链接地址目标网 ...
25行代码带你爬取4399小游戏数据，看下童年的游戏是否还在
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 还记得童年的网页小游戏吗?今天带大家爬取4399小游戏网站的数据,游戏名字+链接地址目标网 ...
python爬斗鱼直播数据图片_Python爬取2000万直播数据——看20万游戏主播能否月入100万...
原标题:Python爬取2000万直播数据--看20万游戏主播能否月入100万她那时候还太年轻,不知道命运赠送的礼物,早已暗中标好了价格. --茨威格社会在发展,时代在进步.伴随着未曾停息的拥护声 ...
Python---20行代码爬取斗鱼平台房间数据（下）
在上一篇中,已经详细的讲解了如何获取数据,接下来是深度处理数据,这里调用xlsxwriter库来制作Excel表格. 工具:Python3.6.5,Pycharm 1.模块介绍 XlsxWriter模 ...
利用python爬取飞猪信息_Python---20行代码爬取斗鱼平台房间数据（下）-阿里云开发者社区...
在上一篇中,已经详细的讲解了如何获取数据,接下来是深度处理数据,这里调用xlsxwriter库来制作Excel表格. 工具:Python3.6.5,Pycharm 1.模块介绍 XlsxWriter模 ...
python爬斗鱼直播_Python---20行代码爬取斗鱼平台房间数据（下）
在上一篇中,已经详细的讲解了如何获取数据,接下来是深度处理数据,这里调用xlsxwriter库来制作Excel表格. 工具:Python3.6.5,Pycharm 1.模块介绍 XlsxWriter模 ...
python爬斗鱼直播_Python爬取2000万直播数据——看20万游戏主播能否月入100万
作者 | 朱小五and王小九来源 | 凹凸数读她那时候还太年轻,不知道命运赠送的礼物,早已暗中标好了价格. --茨威格社会在发展,时代在进步.伴随着未曾停息的拥护声和反对声,电竞行业逐渐被接受,被 ...
利用python做一个游戏主播_Python爬取2000万直播数据——看20万游戏主播能否月入100万...
作者 | 朱小五and王小九来源 | 凹凸数读她那时候还太年轻,不知道命运赠送的礼物,早已暗中标好了价格. --茨威格社会在发展,时代在进步.伴随着未曾停息的拥护声和反对声,电竞行业逐渐被接受, ...
matlab计算aqi代码,AQI计算第一课，爬取全部城市AQI数据的代码一样但是只能爬出第一个城市的数据是怎么回事？...
import requests from bs4 import BeautifulSoup def get_city_aqi(city_pinyin): """ 获取城市 ...

怎么把4399小游戏的代码_25行代码带你爬取4399小游戏数据，看下童年的游戏是否还在...

怎么把4399小游戏的代码_25行代码带你爬取4399小游戏数据，看下童年的游戏是否还在...相关推荐

最新文章

热门文章