python写手机应用宝下载_APK 批量爬取脚本（应用宝和360市场）

python脚本批量下载apk文件（应用宝和360市场）

360安卓市场下载 2000个，应用宝2000个

代码中的下载路径自行更改

运行截图

image.png

代码如下

# -*- coding: utf-8 -*-

import re

import urllib

import os

class class_360:

def __init__(self):

self.urllist=[]

self.baseurl='http://zhushou.360.cn/list/index/cid/1?page='

def geturl(self,pageindex):

for i in range(35,pageindex):

self.urllist.append(self.baseurl+str(i))

def spider(self):

for i in range(len(self.urllist)):

response=urllib.urlopen(self.urllist[i])

html=response.read()

link_list=re.findall(r"(?<=&url=).*?apk",html)

for url in link_list:

file_name = url.split('/')[-1]

# print file_name

file_path=os.path.join("/tmp",file_name)

print 'DOWNLOADING : ' + file_path

urllib.urlretrieve(url,file_path)

def start(self):

self.geturl(40)

self.spider()

class class_YYB:

def __init__(self):

self.urllist=[]

self.baseurl='https://android.myapp.com/myapp/category.htm?orgame=1&categoryId='

def geturl(self,pageindex):

for i in range(100,pageindex):

self.urllist.append(self.baseurl+str(i))

def spider(self):

for i in range(len(self.urllist)):

response=urllib.urlopen(self.urllist[i])

html=response.readlines()

link_list = []

for i in range(len(html)):

if 'ex_url' in html[i]:

tmp = html[i].split('ex_url="')[1]

tmp = tmp.split('"')[0]

link_list.append(tmp)

for url in link_list:

file_name = url.split('=')[1]

file_name = file_name.split('&')[0]

# print file_name

file_path=os.path.join("/tmp",file_name)

print 'DOWNLOADING : ' + file_path

urllib.urlretrieve(url,file_path)

def start(self):

self.geturl(122)

self.spider()

if __name__ == '__main__':

# # 360 应用市场

# a=class_360()

# a.start()

# 应用宝

b=class_YYB()

b.start()

python写手机应用宝下载_APK 批量爬取脚本（应用宝和360市场）相关推荐

写一个简单的爬虫来批量爬取新浪网的新闻
如标题,学习爬虫也有一段时间了,今天来爬取一下新浪网的新闻(其实之前自己爬过,但是隔了好久发现新浪网的网页结构有一些变化导致之前的爬虫失效了,这两天进行了一下代码更新),话不多说,进入正题. 工具:A ...
python安卓手机爬虫_python爬虫实战之爬取安卓apk
当前市面上有大量的应用市场,这些应用市场作为各个安卓开发者的分发渠道,占据着重要的位置.如果我们需要批量下载apk用于研究,那么就需要用到爬虫技术,这里仅仅介绍一个简单的例子,即爬取应用宝上的apk. ...
python写一个简单的爬虫程序（爬取快手）（附源码）
快手是一个有意思的视频应用,但是它有一些视频不让下载,我们今天就用爬虫来实现爬取不让下载的视频: 首先右键点击检查,我们可以看见找到了视频的src,访问这个src就可以得到视频的下载网址,如下: 右键 ...
python做手机应用宝下载_Python代码爬取下载应用宝所有APP软件
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 基本环境配置 python 3.6 pycharm requests parsel 打开开发 ...
python调用api接口获取数据_python批量爬取NCBI基因注释并调用谷歌API批量翻译
作者:沙雕学习小组这里有视频教程:https://www.bilibili.com/video/av87724182 今天想实现这个功能: 差异分析得到了200多个基因(甚至更多) 我要一个一个把基 ...
超简单的图片爬取项目，复制粘贴就能用，批量爬取动漫图片。（保姆教程，可根据需要修改URL）
各位未来国家栋梁们好啊~相信栋梁们经常需要在网络上寻找各种资源,作为二次元的必备精神食粮,图片资源那是必不可少!在这里用python写了一个超简单的图片爬取小项目~话不多说,附上源码!(有用的话点个赞 ...
转:使用Python写一个m3u8多线程下载器
转载:使用Python写一个m3u8多线程下载器可去看原文:https://blog.csdn.net/muslim377287976/article/details/104340242 文章目录 ...
最新！使用Python爬取蓝奏云文件下载直链并下载，支持批量爬取，已封装为函数，可直接使用(含注释、库的使用解释)
程序说明本程序不借助第三方网站来获取蓝奏云直链,那样没意思,且程序流程已经过分块化处理(多函数),方便理解和阅读.程序使用了requests.re.lxml库,来请求.解析数据.具有一定学习价值,对 ...
python实战-HTML形式爬虫-批量爬取电影下载链接
文章目录一.前言二.思路 1.网站返回内容 2.url分页结构 3.子页面访问形式 4.多种下载链接判断三.具体代码的实现四.总结一.前言喜欢看片的小伙伴,肯定想打造属于自己的私人影院 ...

python写手机应用宝下载_APK 批量爬取脚本（应用宝和360市场）

python写手机应用宝下载_APK 批量爬取脚本（应用宝和360市场）相关推荐

最新文章

热门文章