一、设计方案

1.主题式网络爬虫名称：微博热搜榜前20信息数据爬取进行数据分析与可视化

2.爬取内容与数据特征分析：爬取微博热搜榜前20热搜事件、排名与热度，数据呈一定规律排序。

3.设计方案概述：思路：首先打开目标网站，运用开发工具查看源代码，寻找数据标签，通过写爬虫代码获取所要的数据，将数据保存为csv或者xlsx文件，读取文件对数据进行数据清洗处理、可视化等操作。

难点：网站数据的实时更新，信息容易变动；重点在于寻找数据标签；对数据整理、可视化等代码的掌握程度较低，需要观看以往视频或者上网搜索，进度慢。

二、主题页面的结构特征分析

1.主题页面的结构与特征：通过分析页面得知所要获取的数据分布于a标签中，td为热度标签。

2.Htmls页面解析

3.节点(标签)查找方法与遍历方法：通过re模块的findall方法进行查找。

三、程序设计

1.数据爬取与采集

importreimportrequestsimportpandas as pd#爬取网站

url = 'https://tophub.today/n/KqndgxeLl9'

#伪装爬虫

headers = {'user-Agent':""}#抓取网页信息

response=requests.get(url,headers=headers,timeout=30)

response= requests.get(url,headers =headers)#爬取内容

html =response.text

titles= re.findall('.*?(.*?)',html)[4:24]

heat= re.findall('

(.*?)',html)[:20]

x= {'标题':titles,'热度':heat}

y=pd.DataFrame(x)#创建空列表

data=[]for i in range(20):#拷贝数据

data.append([i+1,titles[i],heat[i][:]])#建立文件

file=pd.DataFrame(data,columns=['排名','热搜事件','热度(万)'])print(file)#保存文件

file.to_excel('D:\\bbc\\微博热搜榜.xlsx')

2.对数据进行清洗和处理

#读取文件

df = pd.DataFrame(pd.read_excel('微博热搜榜.xlsx'))

df.head()

#缺失值处理

df.isnull().head() #True为缺失值，False为存在值

#空值处理#

df.isnull().sum() #0表示无空值

#查找重复值

df.duplicated() #显示表示已经删除重复值

#查看统计信息

df.describe()

3.文本分析：无法安装wordcloud库

4.数据分析与可视化

#绘制条形图

df = pd.read_excel('微博热搜榜.xlsx')

x= df['排名']

y= df['热度(万)']

plt.xlabel('排名')

plt.ylabel('热度(万)')

plt.bar(x,y)

plt.title("微博热搜排名与热度条形图")

plt.show()

#绘制折线图

df = pd.read_excel('微博热搜榜.xlsx')

x= df['排名']

y= df['热度(万)']

plt.xlabel('排名')

plt.ylabel('热度(万)')

plt.plot(x,y,color="blue",label="折线")

plt.title("微博热搜排名与热度折线图")

plt.legend()

plt.show()

#绘制散点图

df = pd.read_excel('微博热搜榜.xlsx')

排名= (df['排名'])

热度= (df['热度(万)'])

plt.figure(figsize=(6,5))

plt.scatter(排名,热度,label=u"样本数据",linewidth=2)

plt.title("微博热搜排名与热度散点图",color="green")

plt.xlabel("排名")

plt.ylabel("热度(万)")

plt.legend()

plt.grid()

plt.show()

5.根据数据之间的关系，分析两个变量之间的相关系数，画出散点图，并建立变量之间的回归方程

#线性关系散点图

df = pd.DataFrame(pd.read_excel('微博热搜榜.xlsx'))

sns.lmplot(x="排名",y= "热度(万)",data=df)

#回归方程曲线图

df = pd.DataFrame(pd.read_excel('微博热搜榜.xlsx'))

q= df['排名']

w= df['热度(万)']deffunc(p,x):

a,b,c=preturn a*x*x+b*x+cdeferror_func(p,x,y):return func(p,x)-y

p0=[0,0,0]

Para=leastsq(error_func,p0,args=(q,w))

a,b,c=Para[0]

plt.figure(figsize=(12,6))

plt.scatter(q,w,color="blue",label=u"热度散点",linewidth=2)

x=np.linspace(0,20,15)

y=a*x*x+b*x+c

plt.plot(x,y,color="green",label=u"回归方程曲线",linewidth=2)

plt.xlabel("排名")

plt.ylabel("热度(万)")

plt.title("微博热搜排名与热度回归曲线图")

plt.legend()

plt.show()

6.代码汇总

importreimportrequestsimportpandas as pdimportseaborn as snsimportnumpy as npfrom numpy importgenfromtxtimportscipy as spimportmatplotlib.pyplot as pltfrom scipy.optimize importleastsq

plt.rcParams['font.sans-serif']=['SimHei']#用来正常显示中文

plt.rcParams['axes.unicode_minus']=False#用来正常显示负号

#爬取网站

url = 'https://tophub.today/n/KqndgxeLl9'

#伪装爬虫

headers = {'user-Agent':""}#抓取网页信息

response=requests.get(url,headers=headers,timeout=30)

response= requests.get(url,headers =headers)#爬取内容

html =response.text

titles= re.findall('.*?(.*?)',html)[4:24]

heat= re.findall('

(.*?)',html)[:20]

x= {'标题':titles,'热度':heat}

y=pd.DataFrame(x)#创建空列表

data=[]for i in range(20):#拷贝数据

data.append([i+1,titles[i],heat[i][:]])#建立文件

file=pd.DataFrame(data,columns=['排名','热搜事件','热度(万)'])print(file)#保存文件

file.to_excel('D:\\bbc\\微博热搜榜.xlsx')#读取csv文件

df = pd.DataFrame(pd.read_excel('微博热搜榜.xlsx'))

df.head()#缺失值处理

df.isnull().head() #True为缺失值，False为存在值#空值处理#

df.isnull().sum() #0表示无空值#查找重复值

df.duplicated() #显示表示已经删除重复值#查看统计信息

df.describe()#绘制条形图

df = pd.read_excel('微博热搜榜.xlsx')

x= df['排名']

y= df['热度(万)']

plt.xlabel('排名')

plt.ylabel('热度(万)')

plt.bar(x,y)

plt.title("微博热搜排名与热度条形图")

plt.show()#绘制折线图

df = pd.read_excel('微博热搜榜.xlsx')

x= df['排名']

y= df['热度(万)']

plt.xlabel('排名')

plt.ylabel('热度(万)')

plt.plot(x,y,color="blue",label="折线")

plt.title("微博热搜排名与热度折线图")

plt.legend()

plt.show()#绘制散点图

df = pd.read_excel('微博热搜榜.xlsx')

排名= (df['排名'])

热度= (df['热度(万)'])

plt.figure(figsize=(6,5))

plt.scatter(排名,热度,label=u"样本数据",linewidth=2)

plt.title("微博热搜排名与热度散点图",color="green")

plt.xlabel("排名")

plt.ylabel("热度(万)")

plt.legend()

plt.grid()

plt.show()#线性关系散点图

df = pd.DataFrame(pd.read_excel('微博热搜榜.xlsx'))

sns.lmplot(x="排名",y= "热度(万)",data=df)#回归方程曲线图

df = pd.DataFrame(pd.read_excel('微博热搜榜.xlsx'))

q= df['排名']

w= df['热度(万)']deffunc(p,x):

a,b,c=preturn a*x*x+b*x+cdeferror_func(p,x,y):return func(p,x)-y

p0=[0,0,0]

Para=leastsq(error_func,p0,args=(q,w))

a,b,c=Para[0]

plt.figure(figsize=(12,6))

plt.scatter(q,w,color="blue",label=u"热度散点",linewidth=2)

x=np.linspace(0,20,15)

y=a*x*x+b*x+c

plt.plot(x,y,color="green",label=u"回归方程曲线",linewidth=2)

plt.xlabel("排名")

plt.ylabel("热度(万)")

plt.title("微博热搜排名与热度回归曲线图")

plt.legend()

plt.show()

四、结论

1.结论：对主题数据的分析与可视化，能将数据变的更加直观，更加容易观察出数据的规律、关系等。此次微博热榜的排名和热度是呈正比的，但其实事件内容才是吸引大众的关键因素。总之数据发分析与可视化直观的展示信息的分析结果与构思，令抽象的数据具体化，便于我们观察。

2.任务小结：本次程序设计任务完成时间较久，也是在一步一步学习熟悉python的知识，通过本次任务提高了对代码的掌握程度，并且在完成任务的过程中提高了实践能力，也是为以后编写代码打下一点基础。