1.前言

本篇文章主要介绍python爬虫及对爬取的数据进行可视化分析，本次介绍所用的网站是（https://www.duanwenxue.com/jingdian/zheli/）

2.数据爬取

2.1定位到爬取数据

打开我们要爬取的网页，右键选择检查，在窗口中单击左上角箭头，即可查看我们需要爬取的内容：

2.2爬虫实现方法

我们要爬取一个网页，首先我们需要向网页发送一个请求,然后用get方法抓取数据（例如我要爬取https://www.duanwenxue.com/jingdian/zheli/的内容）

import requests
url = 'https://www.duanwenxue.com/article/5034441.html'
doc = requests.get(url)
print(doc.text)

通过这个方法获得数据是整个网页的源码，接下来我们，接下来要从源码中找到并提取数据。Beautiful Soup 是 python 的一个库，其最主要的功能是从网页中抓取数据。（例如我要获得https://www.duanwenxue.com/article/5035160.html的散文）

import requests
from bs4 import BeautifulSoup
url='https://www.duanwenxue.com/article/5034441.html'
html=requests.get(url)
html.encoding='gbk'
doc=BeautifulSoup(html.text,'lxml')
a=doc.find('span',{'id':'audio-span'})
c=doc.find('div',{'id':'shangDiv'})
a.decompose() # 删除无用信息
c.decompose()
cont=doc.find('div',{'class':'article-content'}).findAll('p')
content=''
for i in cont:print(i.text)

输出结果：

人生实在当下，生活唯有形态在奋斗。——余昌开
当下就是人生实现梦想奋斗时。——余昌开
人务必从今开始，努力奋斗，实现人生的理想。——余昌开
人活着最务实的形态，是现在正在奋斗人生美好的进行中。——余昌开
版权作品，未经《短文学》书面授权，严禁转载，违者将被追究法律责任。

3.数据可视化分析

数据可视化是数据分析很重要的一部分，将数据进行可视化,更直观的呈现使数据更加客观、更具说服力。
matplotlib是用来创建图表的工具包之一，是一个Python 2D绘图库，它可以在各种平台上以各种硬拷贝格式和交互式环境生成出具有出版品质的图形。

3.1将短文学网的各类文章做一个统计

柱形图：

plt.rcParams['font.sans-serif']=['SimHei']
plt.figure(figsize=(10,10))
plt.xticks(rotation=45)
plt.title("各类文章数目")# 标题
plt.xlabel("文章类型")#横坐标名字
plt.ylabel("数量")#纵坐标名字
plt.bar(x, y)
for x,y in zip(x,y):plt.text(x,y,"{f}".format(f=y),ha="center",va='bottom')
plt.show()

结果：

饼状图：

plt.figure(figsize=(30, 30))  #设置大小
plt.pie(y,labels = x,  autopct='%1.1f%%')
plt.axis('equal')
plt.show()

结果：

通过对柱形图和饼状图的观察，可以发现在短文学中，“散文随笔”，“心情随笔”，“散文诗”，“散文文字”，“经典语录”类的文学作品占大部分（82%），而其他类型的作品占小部分（18%）。

3.2对某一类文章进行分析

我们选择对励志文章的标题进行分析，通过标题的重点词汇生成词云，反映出这类文章的大致内容趋向于哪一方面。
代码如下：

stopwords={'你','我','的','自己'}# 去掉无用的词
word_cut=jieba.cut(word_content)
word_cut_join=" ".join(word_cut)#把分词用空格连起来
#生成词云
wc=WordCloud(font_path='simsun.ttc',#设置字体max_words=100,#词云显示的最大词数# mask=mask_img,#设置背景图片stopwords=stopwords,background_color='white'#背景颜色).generate(word_cut_join)plt.imshow(wc)
plt.axis('off')#去掉坐标轴
plt.savefig('title.jpg')
plt.show()

结果：

可以看到，多次出现的大学有 “河南”,“科技”,“大学”,“农学院”。

以上便是本文全部内容，代码只包含主要部分，关于数据可视化还有其他几种方法，具体可查看python使用Matplotlib画图。

python爬虫及数据可视化分析相关推荐

Python爬虫以及数据可视化分析
Python爬虫以及数据可视化分析之Bilibili动漫排行榜信息爬取分析简书地址:https://www.jianshu.com/u/40ac87350697 简单几步,通过Python对B站番剧 ...
Python爬虫以及数据可视化分析！
简单几步,通过Python对B站番剧排行数据进行爬取,并进行可视化分析源码文件可以参考Github上传的项目:https://github.com/Lemon-Sheep/Py/tree/maste ...
Python爬虫以及数据可视化分析！这才是零基础入门案例！
简单几步,通过Python对B站番剧排行数据进行爬取,并进行可视化分析下面,我们开始吧! PS: 作为Python爬虫初学者,如有不正确的地方,望各路大神不吝赐教[抱拳] 本项目将会对B站番剧排行的 ...
Python爬虫以及数据可视化分析之某站热搜排行榜信息爬取分析
目录前言一,确定目标二,发送请求三, 解析数据四, 保存数据 pyecharts进行可视化 "某站"数据排名前10视频类型 "某站"标题标签可视化 & ...
Python爬虫以及数据可视化分析(最新B站番剧排行榜数据)
本博客将会对B站番剧排行榜的数据进行信息爬取以及数据可视化分析,适应最新的B站网页结构参考大佬:https://blog.csdn.net/Jacompol/article/details/1116 ...
python爬虫可视化excel_Python爬虫以及数据可视化分析！
简单几步,通过Python对B站番剧排行数据进行爬取,并进行可视化分析下面,我们开始吧! PS: 作为Python爬虫初学者,如有不正确的地方,望各路大神不吝赐教[抱拳] 本项目将会对B站番剧排行的 ...
Python爬虫+数据分析+数据可视化（分析《雪中悍刀行》弹幕）
Python爬虫+数据分析+数据可视化(分析<雪中悍刀行>弹幕) 哔哔一下爬虫部分代码部分效果展示数据可视化代码展示效果展示视频讲解福利环节哔哔一下雪中悍刀行兄弟们都看 ...
【计算机专业毕设之基于python猫咪网爬虫大数据可视化分析系统-哔哩哔哩】 https://b23.tv/jRN6MVh
[计算机专业毕设之基于python猫咪网爬虫大数据可视化分析系统-哔哩哔哩] https://b23.tv/jRN6MVh https://b23.tv/jRN6MVh
python 爬虫及数据可视化展示
python 爬虫及数据可视化展示学了有关python爬虫及数据可视化的知识,想着做一些总结,加强自己的学习成果,也能给各位小伙伴一些小小的启发. 1.做任何事情都要明确自己的目的,想要做什么,打算 ...

python爬虫及数据可视化分析