使用python进行数据分析(二)

0x00目标

对<<功夫>>影片的短评进行数据分析，算是童年回忆吧。
站点: aHR0cHM6Ly93d3cuYmlsaWJpbGkuY29tL2Jhbmd1bWkvbWVkaWEvbWQyODIyNzgyMC8/c3BtX2lkX2Zyb209NjY2LjI1LmJfNzI2NTc2Njk2NTc3NWY2ZDZmNjQ3NTZjNjUuMSNzaG9ydA==
项目结构如下:

0x01爬虫部分

1.1接口分析

在源代码里也有部分数据，但应该不够。

这里可以看到是xhr。

直接在浏览器访问这个接口，可以发现数据全给我们了，因此可以判定没啥反爬。

对下一次请求需要拿到cursor,但是最后一次的cursor不知道是什么。那就换一个少评论的影片，观察即可。是0

总结一下：请求方式为get.携带的参数有media_id,ps,sort,cursor，均不难得到。返回的数据类型是json格式。没什么特别的反爬，注意模拟浏览器即可。

1.2存储设计

这里我将uname,score,disliked,liked,likes,ctime,content写入xls文件里，后面转成了csv方便读取数据，感觉xls还是比csv慢。

1.3程序运行的情况

有如下error:

recursion的默认最大深度应该是1000,导入sys 修改下即可，但是这里就浪费了40分钟了，因为没写日志…后面开了个线程

1.4代码

# !/usr/bin/env python
# -*- coding: utf-8 -*-# @author: yjp
# @software: PyCharm
# @file: main.py
# @time: 2022-09-30 22:57
import sys
import os
import xlwt
import xlrd
from xlutils.copy import copy
from requests_html import HTMLSession
import time
from threading import *
sys.setrecursionlimit(3000)  # 将默认的递归深度修改为3000
session = HTMLSession()class plSpider(object):def __init__(self):self.start_url = "https://api.bilibili.com/pgc/review/short/list?media_id=28227820&ps=20&sort=0&cursor={}"self.headers = {'user-agent' : 'user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36'}self.cnt = 0def parse_start_url(self):start_url = self.start_url.format(0)response = session.get(start_url,headers = self.headers).json()self.parse_start_response(response)def parse_start_response(self,response):data = response["data"]['list']cursor = response["data"]["next"]self.parse_data(data)self.get_next_url(cursor)def get_next_url(self,cursor):next_url = self.start_url.format(cursor)response = session.get(next_url, headers=self.headers).json()self.parse_next_response(response)def parse_next_response(self,response):data = response["data"]['list']cursor = response["data"]["next"]if cursor == 0:exit(0)self.parse_data(data)self.get_next_url(cursor)def parse_data(self,data):"""提取 uname,score,disliked,liked,likes,ctime,content:param data::return:"""for item in data:self.cnt += 1print(f"{self.cnt}")uname = item['author']['uname']content = item['content']score = item['score']ctime = item['ctime']timeArray = time.localtime(int(ctime))otherStyleTime = time.strftime("%Y--%m--%d %H:%M:%S", timeArray)disliked, liked, likes = item["stat"]["disliked"],item["stat"]["liked"],item["stat"]["likes"]dict = {'评论数据':[uname,score,disliked,liked,likes,otherStyleTime,content]}self.save_excel(dict)def save_excel(self, data):#传入的是字典# data = {#     '基本详情': ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j']# }os_path_1 = os.getcwd() + '/短评数据/'if not os.path.exists(os_path_1):os.mkdir(os_path_1)# os_path = os_path_1 + self.os_path_name + '.xls'os_path = os_path_1 + '功夫短评数据1.xls'if not os.path.exists(os_path):# 创建新的workbook（其实就是创建新的excel）workbook = xlwt.Workbook(encoding='utf-8')# 创建新的sheet表worksheet1 = workbook.add_sheet("评论数据", cell_overwrite_ok=True)borders = xlwt.Borders()  # Create Borders"""定义边框实线"""borders.left = xlwt.Borders.THINborders.right = xlwt.Borders.THINborders.top = xlwt.Borders.THINborders.bottom = xlwt.Borders.THINborders.left_colour = 0x40borders.right_colour = 0x40borders.top_colour = 0x40borders.bottom_colour = 0x40style = xlwt.XFStyle()  # Create Stylestyle.borders = borders  # Add Borders to Style"""居中写入设置"""al = xlwt.Alignment()al.horz = 0x02  # 水平居中al.vert = 0x01  # 垂直居中style.alignment = al# 合并 第0行到第0列 的 第0列到第13列'''基本详情13'''# worksheet1.write_merge(0, 0, 0, 13, '基本详情', style)excel_data_1 = ('uname','score','disliked','liked','likes','ctime','content')for i in range(0, len(excel_data_1)):worksheet1.col(i).width = 2560 * 3#               行，列，  内容，            样式worksheet1.write(0, i, excel_data_1[i], style)workbook.save(os_path)# 判断工作表是否存在if os.path.exists(os_path):# 打开工作薄workbook = xlrd.open_workbook(os_path)# 获取工作薄中所有表的个数sheets = workbook.sheet_names()for i in range(len(sheets)):for name in data.keys():worksheet = workbook.sheet_by_name(sheets[i])# 获取工作薄中所有表中的表名与数据名对比if worksheet.name == name:# 获取表中已存在的行数rows_old = worksheet.nrows# 将xlrd对象拷贝转化为xlwt对象new_workbook = copy(workbook)# 获取转化后的工作薄中的第i张表new_worksheet = new_workbook.get_sheet(i)for num in range(0, len(data[name])):new_worksheet.write(rows_old, num, data[name][num])new_workbook.save(os_path)def Thread_Run(self):Thread(target=self.parse_start_url()).start()if __name__ == '__main__':p = plSpider()p.parse_start_url()

0x02数据分析部分

做点简单的分析。
主要从评分情况，评论时间，评论字数,情感分析等入手

可以看到五星率到达了99.28%，绝大部分人对这部作品还是很认可的。

评论字数的话，因为是短评，所以每条评论的字数都不多。
出现最多的关键字如下:

星爷经典电影！！！
词云图如下:

情感分析的话就不做了，得选一个负面评论多点的例子。

0x03总结

可视化是对数据的进一步挖掘，也是数据价值的体现，可以让人轻松地捕捉到自己想看到的内容。