requests爬取4399游戏链接

首先，我们要安装requests库及lxml

pip install requests
pip install lxml

下载好之后开始，爬取4399网站
通过，requests的get方法请求页面，设置UA来模拟浏览器请求

# 导入，模块
import requests
from lxml import etree# 要抓取页面的路由url = 'http://www.4399.com'
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"
}# 请求页面，并返回 响应
response = requests.get(url,headers=headers)# 将响应的结果转成str，两种方式
# html = response.text
html = response.content.decode(response.apparent_encoding)
print(html)

这样我们就获取到了页面的源码
接下来就是提取数据
确定页面元素的标签属性，利用lxml的xpath进行对数据的提取

# 解析数据
html = etree.HTML(html)game_titles = html.xpath('//div[@class="mi-lr"]')
# print(game_titles,len(game_titles))
for tit in game_titles:# 获取游戏的类型title = tit.xpath('./a[@class="mi_tit"]/text()')[0]# 获取游戏类型的地址if title == '专辑':title_url = tit.xpath('./a[@class="mi_tit"]/@href')[0]else:title_url = url + tit.xpath('./a[@class="mi_tit"]/@href')[0]print(title,'：',title_url)with open('./data/4399.txt', 'a', encoding='utf-8') as f:f.write(title + '：' + title_url + '\n' + '-' * 50 + '\n')print('-' * 50)# 获取类型对应的游戏games = tit.xpath('./div[@class="mi_d"]')[0]for game in games:game_name = game.xpath('./a/text()')if len(game_name) == 0:game_name = game.xpath('./a/b/text()')[0]else:game_name = game_name[0]game_url = url + game.xpath('./a/@href')[0]print(game_name,'：',game_url)with open('./data/4399.txt', 'a',encoding='utf-8') as f:f.write(game_name+'：'+game_url +'\n')with open('./data/4399.txt', 'a', encoding='utf-8') as f:f.write("=" * 50 + '\n' + '\n')print("=" * 50)print()
good_game_title = html.xpath('//div[@class="tm_fun h_3"]//a[@class="tit_a"]/text()')[0]
good_game_url = url + html.xpath('//div[@class="tm_fun h_3"]//a[@class="tit_a"]/@href')[0]

提取完成，接下来保存数据，
可以将数据保存为csv，txt等格式

with open('./data/4399.txt', 'a', encoding='utf-8') as f:f.write(good_game_title + ':' +good_game_url + '\n' + '\n')
print(good_game_title + ':' +good_game_url)good_games = html.xpath('//div[@class="tm_fun h_3"]//li')
print(len(good_games))for good in good_games:good_game_name = good.xpath('./a/text()')[0]good_game_path = url + good.xpath('./a/@href')[0]print(good_game_name+':'+good_game_path)with open('./data/4399.txt', 'a', encoding='utf-8') as f:f.write(good_game_name+':'+good_game_path + '\n' + '\n')

requests爬取4399游戏链接相关推荐

怎么把4399小游戏的代码_25行代码带你爬取4399小游戏数据，看下童年的游戏是否还在...
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 还记得童年的网页小游戏吗?今天带大家爬取4399小游戏网站的数据,游戏名字+链接地址目标网 ...
Python爬虫入门（四）：实战，爬取4399小游戏首页
目录 robots.txt robots协议 robots.txt 语法君子协定何时需要robots协议? 查看4399.com的robots.txt 设定并分析目标代码 urllib2& ...
25行代码带你爬取4399小游戏数据，看下童年的游戏是否还在
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 还记得童年的网页小游戏吗?今天带大家爬取4399小游戏网站的数据,游戏名字+链接地址目标网 ...
python爬取4399小游戏数据_25行代码带你爬取4399小游戏数据，看下童年的游戏是否还在...
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 还记得童年的网页小游戏吗?今天带大家爬取4399小游戏网站的数据,游戏名字+链接地址目标网 ...
Python爬取4399好wan的小游戏！
#coding=utf-8 #爬取4399所有好玩的游戏 import re import os import requests# 基础url host_url = 'http://www.4399. ...
python爬取4399小游戏数据_Python爬取4399好wan的小游戏！
#coding=utf-8 #爬取4399所有好玩的游戏 import re import os import requests # 基础url host_url = 'http://www.4399 ...
python爬取小游戏_如何用Python爬取小游戏网站，把喜欢的游戏收藏起来（附源码）...
简介: Python 是一门简单易学且功能强大的编程语言,无需繁琐的配置,掌握基本语法,了解基本库函数,就可以通过调用海量的现有工具包编写自己的程序,轻松实现批量自动化操作,可以极大提高办公和学习效率 ...
如何用Python爬取小游戏网站，把喜欢的游戏收藏起来（附源码）
简介: Python 是一门简单易学且功能强大的编程语言,无需繁琐的配置,掌握基本语法,了解基本库函数,就可以通过调用海量的现有工具包编写自己的程序,轻松实现批量自动化操作,可以极大提高办公和学习效率 ...
超简单，Python爬取阴阳师游戏原声
Python爬取阴阳师游戏BGM,附完整代码爬取阴阳师游戏原声网页分析教程开始 1 请求json文件并获取数据 2 保存文件注意,一定要看结语完整源码目标网址:https://yys.1 ...
爬取微博游戏名人信息
爬取微博游戏名人信息昨天写了关于静态网站爬取爬取的文章,以为自己无所不能了,想去微博上爬点数据,差点被微博吊起来打,遇到了太多的坑了,做下记录常规步骤我们爬取的网址是爬取网址我们需要爬取游戏名 ...

requests爬取4399游戏链接

requests爬取4399游戏链接相关推荐

最新文章

热门文章