学妹期末大作业

基于Python的十年(2009年~2018年)电影票房前25位分析

根据URL“http://www.cbooo.cn” 通过代码爬取2009-2018每年票房排名前25的影片名称、类型、总票房(万)、平均票价、场均人次及国家及地区的信息，并按照以下要求完成分析。

1． 按年统计

1) 不同类型电影的平均票房

2) 不同国家及地区电影在前25排名中的占比

2． 分析十年间

1) 每年票房冠军的票房走势，并找出十年票房总冠军

2) 不同类型的票房分冠军

3) 同一类型电影平均票房走势，分别找出上升、下降最厉害的两种类型

4) 同一地区在前25排名中占比的变化趋势，分别找出占比上升、下降最厉害的两个地区

5) 探究是否有一种或多种类型的电影在十年间票房震荡非常厉害

3． 分析总票房和平均票价、场均人次、排片场数之间的关系。

4．撰写word文档完成本分析题，所有的结论和分析都需要配图或表加以支撑。并将十年间共250部电影名称作成词云烘托主题。

大作业分析

1.环境，建议使用anaconda3(环境集成，不用再去安装依赖包，之类的)

官网地址：https://www.anaconda.com/download/

2.分为爬取数据和分析两个部分

下面直接上代码

爬虫部分，爬取数据并存放到data.csv中

#!/usr/bin/python

# -*- coding: utf-8 -*-

import requests

import time

import re

import csv

from bs4 import BeautifulSoup

#设置URL固定部分

url='http://www.cbooo.cn/year?year='

#设置请求头部信息

headers = {

'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'

}

#循环抓取列表页信息

for year in range(2009,2019):

if year == 2009:

year=str(year)

a=(url+year)

r=requests.get(url=a,headers=headers)

html=r.content

else:

year=str(year)

a=(url+year)

r=requests.get(url=a,headers=headers)

html2=r.content

html = html + html2

#每次间隔0.5秒

time.sleep(0.5)

lj=BeautifulSoup(html,'html.parser')

#print(lj)

#提取名称、类型、总票房(万)、平均票价、场均人次及国家及地区

result=lj.find_all('td')

#print(result)

#print(len(result))

mname=[]

title=""

index=1

year=2009

for i in result:

i=str(i)

title=re.findall(r'(.*?)',i,re.I|re.M)

if len(title)>0:

mname.append(index)

index=index+1

mname.append(title[0])

else:

info=re.findall(r'(.*?)',i,re.I|re.M)

mname.append(info[0])

#print(len(mname))

#print(mname)

k=0

data=[]

while k<2000:

year=2009

year=year+(k//200)

data.append([mname[k],mname[k+1],mname[k+2],mname[k+3],mname[k+4],mname[k+5],mname[k+6],mname[k+7],year,1])

k=k+8

#print(data)

print(len(data))#一共250条数据

#将结果存到CSV文件

with open('./data.csv','w') as fout:

cin= csv.writer(fout,lineterminator='\n')

#写入row_1 cin.writerow(["index","name","type","zpf","mantimes","price","area","datatime","year","mark"])

for item in data:

cin.writerow(item)

结果，生成一个data.csv文件，我们打开看一下

image.png

一共250行数据，也就是近10年的电影

接下来，我们进行分析部分的代码

import pandas as pd

import numpy as np

import matplotlib.pyplot as plt

%matplotlib inline

data1 = pd.read_csv('./data.csv',encoding='gbk')

#data

# 1.1 按年统计 不同类型电影的平均票房

data=data1

data = data.groupby(['type','year']).zpf.mean().unstack()

#没有的补0

data.fillna(0,inplace = True)

data

image.png

# 1.2 按年统计 不同国家及地区电影在前25排名中的占比

data=data1

data.mark = data.mark/25

data = data.groupby(['area','year']).mark.sum().unstack()

data.fillna(0,inplace = True)

data

image.png

# 2.1 分析十年间 每年票房冠军的票房走势，并找出十年票房总冠军

data=data1

df_empty = pd.DataFrame()

i=0

while i

image.png

# 2.2 分析十年间 不同类型的票房分冠军---失败待解决

data=data1

data=data.groupby('type').agg({'zpf':['max']}).reset_index()

data

# 2.3 分析十年间 同一类型电影平均票房走势，分别找出上升、下降最厉害的两种类型

data=data1

data = data.groupby(['type','year']).zpf.mean().unstack()

data.fillna(0,inplace = True)

#设置识别中文

plt.rcParams['font.sans-serif']=['SimHei']

plt.rcParams['axes.unicode_minus']=False

#设置画布大小

plt.figure(figsize=(12,6))

plt.title('同一类型电影平均票房走势',fontsize=20)

plt.xlabel('年份')

plt.ylabel('平均票房(万)')

plt.plot(data.T)

data.T.plot()

#data

# 2.4 分析十年间 同一地区在前25排名中占比的变化趋势，分别找出占比上升、下降最厉害的两个地区

data=data1

#mark设置为1/25，方便后边算比例

data.mark=0.04

data = data.groupby(['area','year']).mark.sum().unstack()

data.fillna(0,inplace = True)

#设置画布大小

plt.figure(figsize=(12,6))

plt.title('同一地区在前25排名中占比的变化趋势',fontsize=20)

plt.xlabel('年份')

plt.ylabel('占比')

plt.plot(data.T)

data.T.plot()

#data

# 2.5 分析十年间 探究是否有一种或多种类型的电影在十年间票房震荡非常厉害

data=data1

data = data.groupby(['type','year']).zpf.sum().unstack()

data.fillna(0,inplace = True)

#设置画布大小

plt.figure(figsize=(12,6))

plt.title('电影类型在十年间总票房变化',fontsize=20)

plt.xlabel('年份')

plt.ylabel('总票房(万)')

plt.plot(data.T)

data.T.plot()

#data

#3．分析总票房和平均票价之间的关系

data=data1

#设置画布大小

plt.figure(figsize=(12,6))

plt.title('总票房和平均票价的关系',fontsize=20)

plt.xlabel('平均票价')

plt.ylabel('总票房(万)')

plt.scatter(data.price,data.zpf,c='r')

#data

image.png

#3．分析总票房和场均人次的关系

data=data1

#设置画布大小

plt.figure(figsize=(12,6))

plt.title('总票房和场均人次的关系',fontsize=20)

plt.xlabel('场均人次')

plt.ylabel('总票房(万)')

plt.scatter(data.mantimes,data.zpf,c='g')

image.png

#3．分析总票房和排片场数之间的关系

data=data1

#设置画布大小

plt.figure(figsize=(12,6))

plt.title('总票房和排片场数的关系',fontsize=20)

plt.xlabel('排片场数(万)')

plt.ylabel('总票房(万)')

plt.scatter(data.zpf,(data.zpf/data.price/data.mantimes),c='b')

image.png

#4．将十年间共250部电影名称作成词云烘托主题-----待解决

from PIL import Image,ImageSequence

import numpy as np

import matplotlib.pyplot as plt

from wordcloud import WordCloud,ImageColorGenerator

image= Image.open('./tim.jpg')

graph = np.array(image)

wc = WordCloud(font_path='./fonts/simhei.ttf',background_color='White',max_words=50,mask=graph)

wc.generate_from_frequencies(keywords)

image_color = ImageColorGenerator(graph)

plt.imshow(wc)

plt.imshow(wc.recolor(color_func=image_color))

plt.axis("off")

plt.show()

wc.to_file('dream.png')

有问题的地方后期会更新一下，总的来说，这是五个月前，第一次写python爬虫，然后做数据分析

请大家多多提些宝贵意见！

感谢阅读~