基于pyspark 大数据分析_基于阿里云平台的大数据教学案例 —

简介： 实验基于所学的大数据处理知识，结合阿里云大数据相关产品，分组完成一个大数据分析项目，数据集可以使用开源数据集或自行爬取，最终完成一个完整的实验报告： 1、能够使用阿里云大数据相关产品完成数据分析、数据建模与模型优化 2、能够基于分析结构构建可视化门户或可视化大屏，分析和呈现不少于5个 3、分析案例有实用价值并能够形成有效结论 4、能够将开源技术与阿里云产品结合，综合利用提升开发效率，降低成本 5、能够完成数据分析报告和结果展示

一、实验题目

基于所学的大数据处理知识，结合阿里云大数据相关产品，分组完成一个大数据分析项目，数据集可以使用开源数据集或自行爬取，最终完成一个完整的实验报告：
1、能够使用阿里云大数据相关产品完成数据分析、数据建模与模型优化
2、能够基于分析结构构建可视化门户或可视化大屏，分析和呈现不少于5个
3、分析案例有实用价值并能够形成有效结论
4、能够将开源技术与阿里云产品结合，综合利用提升开发效率，降低成本
5、能够完成数据分析报告和结果展示

二、实验目的

灵活利用所学的阿里云大数据相关技术和大数据处理知识，综合完整地完成一个大数据分析项目。

三、实验难点

SQL语句有点难，机器学习预测不好调整。数据太多人工清洗有点难度。

四、实验过程（截图）

首先要观察数据集的各个属性，了解数据的梗概和特点。本次，我们研究的是B站弹幕文化，机器应用场景。
爬取数据的代码如下：

import csv
import timeimport requests
from bs4 import BeautifulSoup
url = "https://api.bilibili.com/x/v1/dm/list.so?oid=132084205"
csv_headers = ['弹幕内容','发送位置','发送时间','弹幕类型','弹幕字体大小','发送者id']
# print(response.content)
# divs = soup.find_all(_class = "threadlist_title pull_left j_th_tit ")
# for div in divs:
#     print(str(div))
#     print(div.a["href"])
headers = {'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:39.0) Gecko/20100101 Firefox/39.0','Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8','Accept-Language': 'en-US,en;q=0.5','Accept-Encoding': 'gzip, deflate','Connection': 'close'
}
def get_page(url):# threadLock.acquire()# start_request = TrueNETWORK_STATUS = Trueresponse = requests.get(url,headers=headers,verify=True,timeout=20)# threadLock.release()if response.status_code == 200:# start_request = Falsereturn response.contentelse:print('error')def parse_page(html):soup = BeautifulSoup(html,'lxml')ds = soup.find_all('d')# print(len(ds))for d in ds:rows = []text = d.textp = str(d['p'])attrs = p.split(',')time_sec = int(attrs[0].split('.')[0])time_int = int(time_sec/60)time_float = time_sec%60mytime = str(time_int) + '分' + str(time_float) + '秒'# print(time)if int(attrs[1]) == 4:type = "底部弹幕"elif int(attrs[1]) == 5:type = "顶部弹幕"elif int(attrs[1]) == 6:type = "逆向弹幕"elif int(attrs[1]) == 7:type = "精准定位"elif int(attrs[1]) == 8:type = "高级弹幕"else:type = "普通弹幕"fint_size = attrs[2]timeArray = time.localtime(int(attrs[4]))date = time.strftime("%Y--%m--%d %H:%M:%S", timeArray)id = attrs[6]rows.append([text,mytime,date,type,fint_size,id])save_to_csv('b站弹幕（BV1He41147Rs）.csv',rows)print(text + ' ' + mytime + ' ' + date + ' ' + type + ' ' + fint_size + ' ' + id)def save_to_csv(csv_name,rows):# is_exist = False# if os.path.exists(csv_name):#     is_exist = Truewith open(csv_name, 'a',encoding='utf-8',newline='')as f:# if is_exist is False:#     f_csv = csv.writer(f)#     f_csv.writerow(csv_headers)f_csv = csv.writer(f)f_csv.writerows(rows)def main():html = get_page(url)# print(html)parse_page(html)if __name__ == '__main__':with open('b站弹幕（BV1He41147Rs）.csv', 'a',encoding='utf-8-sig',newline='')as f:# if is_exist is False:#     f_csv = csv.writer(f)#     f_csv.writerow(csv_headers)f_csv = csv.writer(f)f_csv.writerow(csv_headers)main()

将相关表和数据导入DataWorks，并进行相关部署。

各种弹幕的发送时间

通过统计各类弹幕发送时间来确定哪个时间段的内容更受观众的欢迎。

各个弹幕的大小
通过统计各个弹幕发送的不同大小可以看出更多的人会选择使用移动观看，移动端观看BILIBILI已经很普遍了

各个弹幕的发送位置
可以看出更多的人发的是普通弹幕，少数人会发送更加精准的顶部弹幕和底部弹幕。

机器学习建模及预测

混淆矩阵

精准率=tp/(tp+fp)=100/(10+100)=0.909
召回率=tp/(tp+fn)=100/(100+5)=0.95

五、结论

通过实验，我们组发现更多的人还是选择在移动端观看视频，移动观看视频已经是人们的首选了。
其次我们发现人们更喜欢新兰CP和酒厂，因为在这个时间段发送的弹幕最多，因此我们可以认为在有这两个作为封面时，可以吸引更多的人观看视频，或者以这几个人作为周边可以卖的会更好。
最后我们发现，更多的人发送的弹幕是普通弹幕，而极少数人会选在固定的时间发送顶部弹幕或者底部弹幕，证明大多数人不会去特意调整弹幕位置。

作者：mavisliky

原文链接

本文为阿里云原创内容，未经允许不得转载。