爬取数据

从App Store官网拿下评论数据做分析

App Store评论API：
https://itunes.apple.com/rss/customerreviews/page=1/id=/sortby=mostrecent/json?l=en&&cc=cn

钉钉在App Store的评论API：
https://itunes.apple.com/rss/customerreviews/page=1/id=930368978/sortby=mostrecent/json?l=en&&cc=cn

打开后发现对我们有用的数据就只有用户评分、评论标题、评论内容：

这仅是第一页的评论，通过测试发现最多可以查看10页的评论。

将数据保存到excel：

import requests
import pandas as pd
POPULATION_EXCEL_PATH = '钉钉评论.xlsx'flag = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
urllist = []
for i in flag:url = f"https://itunes.apple.com/rss/customerreviews/page={i}/id=930368978/sortby=mostrecent/json?l=en&&cc=cn"urllist.append(url)
rating = []  # 评分
title = []  # 标题
content = []  # 内容
for url in urllist:res = requests.get(url)data = res.json()['feed']['entry']for i in range(len(data)):rating.append(data[i]['im:rating']['label'])title.append(data[i]['title']['label'])content.append(data[i]['content']['label'])
data = {'打分': rating, '标题': title, '内容': content}df = pd.DataFrame(data)
writer = pd.ExcelWriter(POPULATION_EXCEL_PATH)
df.to_excel(excel_writer=writer, index=True,encoding='utf-8', sheet_name='钉钉评论数据')
writer.save()
writer.close()

查看excel保存的数据（按评分高低排序后）：

学习参考微信公众号：早起python

Python学习：Python分析钉钉评论（一）爬取数据相关推荐

python爬虫实践-01-携程酒店评论的爬取
0 关键携程网其最大的特点就是:基本上所有的有效数据都是通过Ajax异步请求获取的.本博客的主要内容为: 构造Ajax请求,获得返回的reviews数据,由于返回的数据为JSON格式,很好分析判定 ...
Python爬虫实战使用scrapy与selenium来爬取数据
系列文章目录实战使用scrapy与selenium来爬取数据文章目录系列文章目录前言一.前期准备二.思路与运行程序 1.思路 2.运行程序三.代码 1.代码下载 2.部分代码总结前言 ...
212：Python学习之爬虫篇——用Json方法爬取某音乐网站任意歌手的歌单
引言人生苦短,我用Python.这两天在学爬虫的时候跟着做某音乐网站的歌单爬取,稍作修改,实现了对任意歌手的歌单进行爬取,这里只取前三页.这个项目比较简单,也没有对结果进行储存,稍作修改,可以实现更 ...
Python学习笔记 Mc喊麦DJ网爬取下载
# ***********************下面开始写代码******************************* 保存数据内容=[] def pzcx(n,lx):# 获取随机网址访问u ...
Python爬虫实战（三）：定时爬取数据存入SqlServer
目录
Python之手把手教你用JS逆向爬取网易云40万+评论并用stylecloud炫酷词云进行情感分析
本文借鉴了@平胸小仙女的知乎回复 https://www.zhihu.com/question/36081767 写在前面: 文章有点长,操作有点复杂,需要代码的直接去文末即可.想要学习的需要有点耐心 ...
python爬取虎扑评论_Python爬取NBA虎扑球员数据
虎扑是一个认真而有趣的社区,每天有众多JRs在虎扑分享自己对篮球.足球.游戏电竞.运动装备.影视.汽车.数码.情感等一切人和事的见解,热闹.真实.有温度. 受害者地址 https://nba.hupu ...
python爬取豆瓣电影评论_python 爬取豆瓣电影评论，并进行词云展示及出现的问题解决办法...
def getHtml(url): """获取url页面""" headers = {'User-Agent':'Mozilla/5.0 ( ...
Python 学习 02 —— Python如何爬取数据
文章目录系列文章二.Python 爬虫 1.任务介绍 2.简介 3.基本流程 3.1.准备工作 3.1.1.分析页面 3.1.2.编码规范 3.1.3.导入模块 3.1.4.程序流程 3.2.获 ...

Python学习：Python分析钉钉评论（一）爬取数据

爬取数据

Python学习：Python分析钉钉评论（一）爬取数据相关推荐

最新文章

热门文章