25行代码带你爬取4399小游戏数据，看下童年的游戏是否还在

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

还记得童年的网页小游戏吗？今天带大家爬取4399小游戏网站的数据，游戏名字+链接地址

目标网站

http://www.4399.com/

基本环境配置

python 3.6
pycharm
requests
parsel
csv

爬虫代码

导入需要用到的工具

1import requests
2import parsel
3import csv

请求网页

1    url = 'http://www.4399.com/flash_fl/5_{}.htm'.format(page)
2    headers = {
3        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
4    }
5    response = requests.get(url=url, headers=headers)
6    response.encoding = response.apparent_encoding

解析网页，爬取数据

1    for li in lis:
2        dit ={}
3        data_url = li.css('a::attr(href)').get()
4        new_url = 'http://www.4399.com' + data_url.replace('http://', '/')
5        dit['游戏地址'] = new_url
6        title = li.css('img::attr(alt)').get()
7        dit['游戏名字'] = title
8        print(new_url, title)

保存数据

1f = open('4399游戏.csv', mode='a', encoding='utf-8-sig', newline='')
2
3csv_writer = csv.DictWriter(f, fieldnames=['游戏地址', '游戏名字'])
4csv_writer.writeheader()
5f.close()
6# 想要源码的请关注公众号：松鼠爱吃饼干
7# 发送‘4399’即可免费获取

运行代码，效果如下图

每秒200条数据，超快的爬取速度

你玩过几种呢？

完整项目代码点这里即可！

25行代码带你爬取4399小游戏数据，看下童年的游戏是否还在相关推荐

怎么把4399小游戏的代码_25行代码带你爬取4399小游戏数据，看下童年的游戏是否还在...
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 还记得童年的网页小游戏吗?今天带大家爬取4399小游戏网站的数据,游戏名字+链接地址目标网 ...
python爬取4399小游戏数据_25行代码带你爬取4399小游戏数据，看下童年的游戏是否还在...
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 还记得童年的网页小游戏吗?今天带大家爬取4399小游戏网站的数据,游戏名字+链接地址目标网 ...
5行代码带你爬取 “2021福布斯排行榜“，看看中国都有哪些人？
今天是2021年8月20号,晚上坐在家里面,突然看到了2021福布斯排行榜的新闻.于是有感而发,写了这篇文章. 新闻 : 排行榜123网富豪频道为您提供2021年福布斯富豪榜,榜单包括2021世界首富 ...
5行代码带你爬取 2021福布斯排行榜，看看中国都有谁上榜？
今天晚上坐在家里面,突然看到了2021福布斯排行榜的新闻.于是有感而发,写了这篇文章. 新闻 :排行榜123网公布了2021年福布斯富豪榜,榜单包括2021世界首富排行榜,以及全球各个国家富豪排名.目 ...
23行代码带你爬取美女图
爬取妹子图可能在爬虫里面没有什么技术含量了,新手练练手还是可以的. 今天爬取的网址是:http://www.youzi4.cc/mm/meinv/index_1.html 注意:爬取图片一般要加上re ...
简单几行代码带你爬取王者荣耀皮肤
爬取王者荣耀皮肤分析思路源代码爬取王者荣耀皮肤分析思路 url:https://pvp.qq.com/web201605/js/herolist.json url还是很容易拼接的源代码 im ...
python热搜排行功能_简单几行代码用Python爬取微博的热搜榜
简单几行代码用Python爬取微博的热搜榜想要实时的看微博热搜但是又不想去微博网站看!怎么办呢?其实很简单! 我们学了这个requests_html 这个库之后就更加的简单了! 小编只用了短短的 ...
100行代码教你爬取斗图网(Python多线程队列)
100行代码教你爬取斗图网(Python多线程队列) 前言根据之前写的两篇文章,想必大家对多线程和队列有了一个初步的了解,今天这篇文章就来实战一下,用多线程 + 队列爬取斗图网的全网图片. 你还在 ...
Python爬虫入门（四）：实战，爬取4399小游戏首页
目录 robots.txt robots协议 robots.txt 语法君子协定何时需要robots协议? 查看4399.com的robots.txt 设定并分析目标代码 urllib2& ...

25行代码带你爬取4399小游戏数据，看下童年的游戏是否还在

25行代码带你爬取4399小游戏数据，看下童年的游戏是否还在相关推荐

最新文章

热门文章