python爬取4399小游戏数据_4399小游戏童年的乐趣，python爬取4399全站小游戏
前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。
PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取
基本环境配置python 3.6
pycharm
requests
parsel
相关模块pip安装即可
'''
动作类游戏：http://www.4399.com/flash_fl/2_1.htm
体育类游戏：http://www.4399.com/flash_fl/3_1.htm
益智类游戏：http://www.4399.com/flash_fl/5_1.htm
射击类游戏：http://www.4399.com/flash_fl/4_1.htm
...
'''
import requests
import parsel
import csv
f = open('4399游戏.csv', mode='a', encoding='utf-8-sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['游戏地址', '游戏名字'])
csv_writer.writeheader()
for page in range(1, 106):
url = 'http://www.4399.com/flash_fl/5_{}.htm'.format(page)
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=url, headers=headers)
response.encoding = response.apparent_encoding
selector = parsel.Selector(response.text)
lis = selector.css('#classic li')
for li in lis:
dit ={}
data_url = li.css('a::attr(href)').get()
new_url = 'http://www.4399.com' + data_url.replace('http://', '/')
dit['游戏地址'] = new_url
title = li.css('img::attr(alt)').get()
dit['游戏名字'] = title
print(new_url, title)
csv_writer.writerow(dit)
f.close()
数据还是很多的，这里只保存了32548条数据
python爬取4399小游戏数据_4399小游戏童年的乐趣，python爬取4399全站小游戏相关推荐
- python爬取抖音用户数据_一篇文章教会你用Python抓取抖音app热点数据
今天给大家分享一篇简单的安卓app数据分析及抓取方法.以抖音为例,我们想要抓取抖音的热点榜数据. 要知道,这个数据是没有网页版的,只能从手机端下手. 首先我们要安装charles抓包APP数据,它是一 ...
- python朴素贝叶斯分布对数据的要求_统计学习方法与Python实现（三）——朴素贝叶斯法...
统计学习方法与Python实现(三)--朴素贝叶斯法 1.定义 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法. 对于给定的训练数据集,首先基于特征条件独立假设学习输入输出的联合概率分布.然 ...
- python爬取4399小游戏数据_25行代码带你爬取4399小游戏数据，看下童年的游戏是否还在...
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 还记得童年的网页小游戏吗?今天带大家爬取4399小游戏网站的数据,游戏名字+链接地址 目标网 ...
- 怎么把4399小游戏的代码_25行代码带你爬取4399小游戏数据，看下童年的游戏是否还在...
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 还记得童年的网页小游戏吗?今天带大家爬取4399小游戏网站的数据,游戏名字+链接地址 目标网 ...
- 25行代码带你爬取4399小游戏数据，看下童年的游戏是否还在
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 还记得童年的网页小游戏吗?今天带大家爬取4399小游戏网站的数据,游戏名字+链接地址 目标网 ...
- python爬取抖音用户数据_「docker实战篇」python的docker-抖音web端数据抓取（19）
import re import requests import time from lxml import etree def handle_decode(input_data,share_web_ ...
- 爬取某家乐数据并部署到Linux ，实现自动爬取，定期发送邮件
一.selenium获取网站数据 背景介绍 这篇文章主要包含以下几个内容 使用selenium进行网站登录签到并获取积分数据 基于QQ邮箱发送邮件 在linux安装google-chrome 和 se ...
- python 按条件选择行和列数据_小白学数据结构-排序算法Python（冒泡、选择、快速、希尔等等）...
排序有内部排序和外部排序,内部排序是数据记录在内存中进行排序,而外部排序是因排序的数据很大,一次不能容纳全部的排序记录,在排序过程中需要访问外存. 我们通常所说的排序算法往往指的是内部排序算法,即数据 ...
- python第七章文件和数据格式化选择题_《计算机二级Python语言程序设计考试》第7章：文件和数据格式化...
注明:本系列课程专为全国计算机等级考试二级 Python 语言程序设计考试服务 目录 考纲考点 文件的使用: 文件打开.关闭和读写 数据组织的维度:一维数据和二维数据 一维数据的处理:表示.存储和处理 ...
最新文章
- Windbg调试命令详解
- 8屏幕滚动_对标iOS？Android 11或无缘屏幕长截图
- Java BigDecimal stripTrailingZeros（）方法与示例
- C++11 标准新特性: 右值引用与转移语义
- php数组常用_PHP常用数组总结
- 线性结构 —— 分块算法
- 解决MSN无法登录问题的意外收获
- 网易云基于 Kubernetes 的深度定制化实践
- 高性能迷你React框架anujs1.0.8发布
- PowerDesign数据库建模导出至MySQL数据库
- Java设计模式之四 ----- 适配器模式和桥接模式
- 二行代码解决全部网页木马
- 数字人事系统 java_市国税局“数字人事”信息系统正式上线
- 【OGNL表达式struts2标签“%，#，$”】
- python中格式化字符串的使用_Python中的格式化字符串
- 计算半圆弧长及半圆的面积。（3分)
- 算法竞赛入门经典 例题6-21
- 手机邮箱看不到已发送邮件_iPhone用户请注意：你的邮件App得禁用，刚曝光的安全漏洞，iOS 6以上设备全中招...
- qbo web接口分析
- pytest入门_测试用例分类_@pytest.mark.smoke