day03——抓取豌豆荚app数据

'''
爬取豌豆荚app数据spider_method:requests + bs4orseleniumurl:https://www.wandoujia.com/category/6001data:名称、详情页url、下载人数、app大小app_name, detail_url, download_num, app_size
'''from bs4 import BeautifulSoup
# 爬虫三部曲
# 1.发送请求
import requestsdef get_page(url):reponse = requests.get(url)# print(reponse.text)return reponse# 2.解析数据
import re
def parse_index(html):game_list = re.findall('<h2 class="app-title-h2"><a  href="(.*?)"  title="(.*?)" class="name">.*?</a>.*?<span class="install-count">(.*?)万人安装</span>  <span class="dot">・</span> <span title="(.*?)MB">.*?MB</span>',html,                 re.S)print(game_list)return game_list# 3.保存数据
def save_data(game):app_name, detail_url, download_num, app_size = gamedata = f'''=========欢迎=========游戏名称：{app_name}详情页url：{detail_url}下载人数：{download_num}万人app大小：{app_size}MB=========再见=========\n'''print(data)with open('wandoujia.txt', 'a', encoding='utf-8') as f:f.write(data)if __name__ == '__main__':# 拼接主页url = f'https://www.wandoujia.com/category/6001'print(url)# 1.往主页发送请求index_res = get_page(url)# 2.解析主页获取游戏信息game_list = parse_index(index_res.text)for game in game_list:# 3.保存数据# print(game_list)save_data(game)

转载于:https://www.cnblogs.com/ningshao/p/11129319.html

day03——抓取豌豆荚app数据相关推荐

python抓取豌豆荚app数据信息
一个哥们参加app大赛,我帮他写的抓取程序,但是好像抓取的数据挺少的,不知道怎么回事,先贴上来大家研究研究吧 # -*- coding: utf-8 -*- """ Cr ...
day04 爬取豌豆荚app数据的两种方法
今日内容:方法一 bs4爬取豌豆荚爬取豌豆荚: 1.访问游戏主页 https://www.wandoujia.com/category/6001 2.点击查看更多,观察network内的请求 - 请 ...
burpsuite抓取手机app数据包（通过笔记本开热点方式）
burpsuite抓取手机app数据包(通过笔记本开热点方式) 1,点击笔记本右下方网络图标,出现移动热点,右键转到设置进去之后设置热点名称密码,手机连接热点,笔记本查看连接设备的网段,这儿可以看到 ...
Day04-爬取豌豆荚app数据
今日内容: 一爬取豌豆荚爬取豌豆荚: 1.访问游戏主页 https://www.wandoujia.com/category/6001 2.点击查看更多,观察net ...
Python爬虫+夜神模拟器+Fiddler抓取手机APP数据接口 -- 图文教程（霸霸看了都说好）
Fiddler的抓包原理 Fiddler是强大的抓包工具,它的原理是以web代理服务器的形式进行工作的,使用的代理地址是:127.0.0.1,端口默认为8888,我们也可以通过设置进行修改. 代理就是 ...
使用Fiddler抓取手机APP数据包--360WIFI
使用Fiddler抓取手机APP流量--360WIFI 操作步骤: 1.打开Fiddler,Tools-Fiddler Options-Connections,勾选Allow remote compu ...
fiddler抓取手机app数据（手机开热点）
一.准备工作 1. 下载并安装fiddler抓包工具.手机提前安装好fiddler证书,这个可以看以往的文章二.手机配置手机打开热点,电脑连接成功后 1.首先需要知道电脑ip地址.电脑ip地址可通 ...
Fiddler抓取手机APP数据包
https://my.oschina.net/jhao104/blog/605963 第一步:下载神器Fiddler,下载链接: http://w.x.baidu.com/alading/anquan ...
Fiddler利用Xposed框架+JustTrustMe抓取手机APP数据
文章目录 1. Xposed安装 2. JustTrustMe安装 3. 确保Fiddler在模拟器里配置此文只是针对Fiddler抓取APP数据失败情况下的方案,主要想解决的是安卓手机APP抓包H ...

day03——抓取豌豆荚app数据

day03——抓取豌豆荚app数据相关推荐

最新文章

热门文章