4399小游戏童年的乐趣,python爬取4399全站小游戏
大家好,我是辣条。
前言
2021年已到尾巴尖尖了。
今天照镜子,看着镜子中的自己,发现还是跟年轻时一样的“帅”,看到头部的时候又发现相比半个月之前的发际线,它好像又往上移了一点点。看着这上移的发际线我决定找回童年,把4399上玩过的小游戏再玩一遍。不过在玩游戏的时候呢!我又顺便把4399全站小游戏全抓下来了。顺便给大家分享点知识!
领取福利
300+Python经典编程案例
50G+学习视频教程
100+Python初阶、中阶、高阶电子书籍
1000+简历模板和汇报PPT模板(转正、年终等)
采集目标
网址:4399小游戏
工具准备
开发工具:pycharm
开发环境:python3.7, Windows10
使用工具包:requests、csv
效果展示
项目思路解析
第一步获取到目标数据的地址,分析页面的数据加载规则,数据分为两种,一种是静态数据,另外一种是动态数据,判断数据加载可以通过源码分析,查看当前源代码,要是源代码是能搜索出你想要的数据就是静态的,反之就是动态数据,当前网页数据是静态数据
明确数据后对网址发送请求,获取网页数据,获取到数据后,通过特定的方法提取数据信息,(提取数据的方法有正则、xpath、bs4、选择器),根据自己掌握的技术选取相对应的数据规则,需要获取到网页的游戏标题以及游戏详细地址
获取到数据后进行数据的储存,大部分情况数据是保存在数据库的,今天的数据储存在csv的表格文件
简易源码分享
import requests
# import parsel
import csv
from lxml import etreef = open('4399游戏.csv', mode='a', encoding='utf-8', newline='')csv_writer = csv.DictWriter(f, fieldnames=['游戏地址', '游戏名字'])
csv_writer.writeheader()
for page in range(1, 106):url = 'http://www.4399.com/flash_fl/5_{}.htm'.format(page)headers = {'User-Agent': ''}response = requests.get(url=url, headers=headers).content.decode('gb2312')# print(response)html_data = etree.HTML(response)lis = html_data.xpath('//div[@class="bre m15"]//ul/li')# lis = selector.css('#classic li')for li in lis:data_url = 'http://www.4399.com' + li.xpath('./a/@href')[0]print(data_url)title = li.xpath('./a/text()')[0]csv_writer.writerow({'游戏地址': data_url, '游戏名字': title})
f.close()
4399小游戏童年的乐趣,python爬取4399全站小游戏相关推荐
- python 24位图转 8位_Python爬取PPT模板小工具下载-Python爬取PPT模板小工具免费版下载v1.0...
由于很多PPT抓取工具都会因为版本问题无法使用,所以论坛大神就自己写了这款Python爬取PPT模板小工具,可以帮助用户轻松获取各种PPT模板,使用的时候注意一次只能下载一种类型.软件仅供交流学习,下 ...
- python爬取4399页面
提示:该段代码只可爬取4399页面的代码和图片,适合新手爬虫入门学习 python爬取4399页面 代码 总结 代码 代码如下: import urllib.request import re imp ...
- python爬取4399小游戏数据_25行代码带你爬取4399小游戏数据,看下童年的游戏是否还在...
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 还记得童年的网页小游戏吗?今天带大家爬取4399小游戏网站的数据,游戏名字+链接地址 目标网 ...
- Python爬取4399好wan的小游戏!
#coding=utf-8 #爬取4399所有好玩的游戏 import re import os import requests# 基础url host_url = 'http://www.4399. ...
- python爬取4399小游戏数据_Python爬取4399好wan的小游戏!
#coding=utf-8 #爬取4399所有好玩的游戏 import re import os import requests # 基础url host_url = 'http://www.4399 ...
- python爬取小游戏_如何用Python爬取小游戏网站,把喜欢的游戏收藏起来(附源码)...
简介: Python 是一门简单易学且功能强大的编程语言,无需繁琐的配置,掌握基本语法,了解基本库函数,就可以通过调用海量的现有工具包编写自己的程序,轻松实现批量自动化操作,可以极大提高办公和学习效率 ...
- steam夏日促销用Python爬取排行榜上的游戏打折信息
不知不觉,一年一度如火如荼的 steam 夏日促销悄然开始了.每年通过大大小小的促销,我的游戏库里已经堆积满还未下载过的游戏.但所谓"买到就是赚到,G胖一定大亏"的想法日渐流行,指 ...
- steam夏日促销悄然开始,用Python爬取排行榜上的游戏打折信息
前言 很多人学习python,不知道从何学起. 很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手. 很多已经做案例的人,却不知道如何去学习更加高深的知识. 那么针对这三类人,我给大 ...
- steam夏日促销悄然开始,用Python爬取排行榜上的游戏打折信息!
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 不知不觉,一年一度如火如荼的steam夏日促销悄然开始了.每年通过大大小小 ...
- Python爬虫新手入门教学(十八):爬取yy全站小视频
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space. ...
最新文章
- python 图像识别pytesseract快速设置
- glassfish发布应用_WildFly 8与GlassFish 4 –选择哪个应用服务器
- 顶尖科技棋牌游戏开发_如何接受顶尖科技公司的采访
- 需求简报_代码简报:NASA将所有研究成果发布为开放数据
- [css] 用css实现饼图效果
- mysql 以及mysql可视化工具下载安装地址
- 读书笔记——计算机网络CN
- python的logo图_Turtle绘画Python-logo
- Nginx学习笔记3:Shell脚本检测Nginx服务状态
- 高等数学干吗要研究级数问题?
- 2019全球最具颠覆性的17大公司
- ideaIU的学习一
- Google测试之道读后感
- python如何爬有道翻译_python爬取有道翻译
- 单样本t检验、独立样本t检验、配对样本t检验_python_数据分析_7
- 如何使用KEIL5快速建立FreeRTOS项目(附建立成功的源代码以及问题解析)
- Java_String_Arrays_Character_BigDecimal_Calendar_Math_System
- python可以剪辑视频吗_你知道吗?Python也可以剪辑视频!
- less和sass的定义和区别
- 解禁联想浏览器禁用的网址的方法