python爬取360手机助手APP信息

这是一个爬虫软件，用来爬取360应用市场，App软件信息，现阶段代码只能爬取下载量，如需爬取别的信息，请自行添加代码。

使用方法：

1、在D盘根目录新建.tet文件，命名为App_name，并把App名称黏贴到文件内，格式如下：

2、直接运行就好。

最近比较忙，好久没更新博客了，为什么忙呢，是因为最近被派到“App专项治理组”做App治理工作了，在专班成立初期热心网友举报量比较多，天天处理举报问题，和统计被举报App的下载量，而且是5个应用市场下载量和，如果就几款App可能还好，但是每天处理几百款App，俺表示眼睛和手指头都抗议，这时我就想起了python，所以决定做5个爬虫，分别爬取5个应用市场上App信息，废话不多说，下面是我的代码：

1、第一种方法，使用字典完成。

import requests
from bs4 import BeautifulSoup
import xlsxwriter,time
'''
遇到不懂的问题？Python学习交流群：821460695满足你的需求，资料都已经上传群文件，可以自行下载！
'''
def write_excel(name, download, type_name=0, url=0):# 全局变量row代表行号 0-2代表列数global rowsheet.write(row, 0, row)sheet.write(row, 1, name)sheet.write(row, 2, download)row += 1headers = {'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'}def App_download(url,app_name):# 获取地址i = 1try:time.sleep(0.5)req = requests.get(url=url,headers=headers)req.encoding = 'utf-8'# 获取的内容保存在变量html_all = req.textdiv_bf = BeautifulSoup(html_all, 'html.parser')  # 使用BeautifulSoup进行解析div = div_bf.find_all('div',class_='SeaCon')#查找SeaCon元素内容a_bf = BeautifulSoup(str(div), 'html.parser')  # 重新解析info = a_bf.find_all('li')  # 查找元素为'li'的内容,其中包括APP的名称和下载量信息name = info[0].dl.dd.h3.a.text.strip()all_list = []if name == app_name:download_num = BeautifulSoup(str(info[0]), 'html.parser')  # 重新解析texts = download_num.find_all('p', class_='downNum')#查找下载量find_download_num = texts[0].text.replace('\xa0'*8,'\n\n')[:-3]#去除不需要的信息print(name, find_download_num)write_excel(name,find_download_num)#写入xlsx文件else:find_download_num1= 'None'print(app_name,find_download_num1)write_excel(app_name,find_download_num1)except Exception as e:#print('error:%s,尝试重新获取'%(e,i))#print(url)if i != 3:App_download(url, app_name)i += 1row = 1
# 新建一个excel文件
file = xlsxwriter.Workbook('360_applist.xlsx')
# 新建一个sheet
sheet = file.add_worksheet()
if __name__ == '__main__':path_file = "D:\\"Old_AppFlie = open(path_file + "App_name.txt").read()app_list = Old_AppFlie.split('\n')  # 把字符串转为列表#app_list = ['微信','1113123','支付宝','荔枝']for app_name in app_list:yyb_url = 'http://zhushou.360.cn/search/index/?kw={app_name}'.format(app_name=app_name)App_download(yyb_url,app_name)file.close()

运行结果：

可以查到的，会显示下载量，如果在应用中查不到会显示None，并把结果写到360_applist.xlsx文件中。

python爬取360手机助手APP信息相关推荐

Python抓取360手机市场APP信息并做简单分析
初步学习了python的基本语法,然后结合项目写了一个爬虫程序,主要功能是爬取360应用市场的APP相关信息,这次简单介绍一下. 程序主题包括一个程序启动类,一个写数据库类,一个360市场app的信息 ...
Python爬取360手机助手评论——以百度地图为例
想做竞品分析,打算先从应用市场爬一些应用的用户用户评论作为素材:这次爬取的是360手机助手网站,结尾附爬取完的百度地图和高德地图的用户评论文件~ 网页链接:http://zhushou.360.cn/ ...
scrapy爬虫之爬取百度手机助手app信息并保存至mongodb数据库（附源码）
声明: 本文内容仅供学习python爬虫的同学用作学习参考!!! 如有错误,请评论指出,非常感谢!!! 1.使用环境 python 3.8 scrapy 2.5 mongodb pycharm ...
爬虫学习（二）--爬取360应用市场app信息
欢迎加入python学习交流群 667279387 爬虫学习爬虫学习(一)-爬取电影天堂下载链接爬虫学习(二)–爬取360应用市场app信息代码环境:windows10, python 3.5 ...
python爬取抖音用户数据_使用python爬取抖音视频列表信息
如果看到特别感兴趣的抖音vlogger的视频,想全部dump下来,如何操作呢?下面介绍介绍如何使用python导出特定用户所有视频信息抓包分析 Chrome Deveploer Tools Chro ...
python爬取2019年计算机就业_2019年最新Python爬取腾讯招聘网信息代码解析
原标题:2019年最新Python爬取腾讯招聘网信息代码解析前言初学Python的小伙们在入门的时候感觉这门语言有很大的难度,但是他的用处是非常广泛的,在这里将通过实例代码讲解如何通过Python ...
python爬取58同城的兼职信息
标题python爬取58同城的兼职信息刚刚开始学习爬虫,一些自己研究的小东西,爬取58同城上面的兼职信息放入Excel表格里,具体代码解释在代码里给出注释,下面给出完整代码: #首先是导包 imp ...
python爬取携程旅游评价信息词云图分析
python爬取携程旅游评价信息词云图分析前言前面咱们已经分析过如何爬取携程旅游的相关信息,如果没有看过的,可以先跳转看一下前面的那篇博客:python 爬虫一键爬取携程旅游团数据这一篇呢,咱 ...
Python爬取酷狗音乐歌手信息
前面我们说过用python爬取网易云音乐的歌手信息,Python爬取网易云音乐歌手信息今天我们来爬取一下酷狗音乐的歌手信息(歌手id和歌手名),如果环境没有安装好,可以参照前面爬网易云环境配置作为参 ...

python爬取360手机助手APP信息

python爬取360手机助手APP信息相关推荐

最新文章

热门文章