python毕业设计课题-毕业设计:爬虫及数据分析

本科阶段即将落幕，我本科最后一项任务毕业设计也进入尾声。

指导老师跟我说，本科毕业设计不需要创新，但是工作量一定要够，我就知道又要搞事情了。

我选择的毕业设计题目是网络爬虫与数据分析，在当下可以说很时髦，很流行。

我将我的毕业设计分为四部分。每一部分都会有具体代码与注释，也会有一些外延知识的提及与讨论，欢迎大家一起学习进步。

爬虫简单介绍

所谓爬虫就是编写代码从网页上爬取自己想要的数据，代码的质量决定了你能否精确的爬取想要得到的数据，得到数据后能否直观正确的分析。

Python无疑是所有语言中最适合爬虫的。Python本身很简单，可是真正用好它需要学习大量的第三方库插件。比如matplotlib库，是一个仿照matalab的强大的绘图库，用它可以将爬下来的数据画出饼图、折线图、散点图等等，甚至是3D图来直观的展示。

Python第三方库的安装可以手动安装，但是更为简便的是在命令行直接输入一行代码即可自动搜索资源并安装。而且非常智能，可以识别自己电脑的类型找到最合适的版本。

Pip install +你所需要的第三方库

或者是easy install +你所需要的第三方库

这里建议大家使用pip安装，因为pip可以安装也可以卸载，而另一种方法只能安装。如果遇到你想使用新的版本的第三方库，使用pip的优势就会显现出来。

第一部分：交互界面设计

交互界面.png

为了增加工作量，我设计了一个交互界面来凑数。其实很简单，用的是python自带的第三方库Tkinter。注意，引用这个库的时候呢，必须大写。我就因为这个大小写问题，纠结了一下午才发现出错误。

def web():

root = Tk()

Label(root,text='请输入网址').grid(row=0,column=0) #对Label内容进行表格式布局

Label(root,text='请输入User-Agent :').grid(row=1,column=0)

v1=StringVar() #设置变量

v2=StringVar()

e1 = Entry(root,textvariable=v1) #用于储存输入的内容

e2 = Entry(root,textvariable=v2)

e1.grid(row=0,column=1,padx=10,pady=5) #进行表格式布局

e2.grid (row=1,column=1,padx=10,pady=5)

url = e1.get() #将从输入框中得到的网址赋值给url

head = e2.get()

我这只是简单的设计一个交互界面，python有更为丰富的框架可以让界面更加友好以及美观。

第二部分：python爬虫

（这部分代码参考简书ID方志朋的文章）

我这里爬虫所爬取的是一位知名博主的博客，并对其所有的文章进行结巴分词。从而提取关键词，分析这位博主使用当下比较热的与互联网相关的词汇的频率。

工作台数据.png

思路是这样的。

先编写一个函数download（）获取url，接着编写一个函数parse_descrtion（）解析从

url中获取的html，最后结巴分词。

def download(url): #通过给定的url爬出数据

if url is None:

return None

try:

response = requests.get(url, headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36', })

if (response.status_code == 200):

return response.content

return None

except:

return None

def parse_descrtion(html):

if html is None:

return None

soup = BeautifulSoup(html, "html.parser") #html字符串创建BeautifulSoup

links = soup.find_all('a', href=re.compile(r'/forezp/article/details'))

for link in links:

titles.add(link.get_text())

def jiebaSet():

strs=''

if titles.__len__()==0:

return

for item in titles:

strs=strs+item;

tags = jieba.analyse.extract_tags(strs, topK=100, withWeight=True)

for item in tags:

print(item[0] + ' ' + str(int(item[1] * 1000)))

第一个函数没什么好说的。

第二个函数用到了beautifulsoup，通过对网页的分析，从而寻找所有的满足条件为

href=re.compile(r'/forezp/article/details')的a标签里的内容。

第三个函数就是结巴分词。接下来对结巴分词作简单的介绍。

支持三种分词模式。

精确模式：试图将句子最精确地切开，适合文本分析。

全模式：把句子中所有的可以成词的词语都扫描出来，速度非常快，但是不能解决歧义。

搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

举个例子，结巴分词“我来到北京清华大学”这句话。

【全模式】:我/来到/北京/清华/清华大学/华大/大学

【精确模式】:我/来到/北京/清华大学

第三部分：连接mongoDB数据库

client = pymongo.MongoClient("localhost", 27017)

这句是使用给定主机位置和端口。pymongo的Connection()方法不建议使用，官方推荐新方法MongoClient()。

db = client['local']

这句是将创建好mongoDB后默认存在的两个数据库中的其中一个“local”赋给db，这样

db在以后的程序里就代表数据库local。

posts = db.pymongo_test

post_id = posts.insert(data)

将local里默认的一个集合“pymongo_test”赋值给posts，并且用insert方法单个插入数据。最后回到结巴分词里的一个循环程序里，将数据依次插入。

以上是有关连接数据库的核心代码，接下来介绍如何启动mongoDB数据库。（我一开始编程怎么都连接不上，后来发现是数据库自身没有启动，唉，编程里发生的傻逼事情实在是太多了。）

微软徽标+R，输入cmd，找“mongodb”的路径，然后运行mongod开启命令，同时用--dbpath指定数据存放地点为“db”文件夹。

启动mongoDB

我这里是放在了E盘，大家根据需要自己设置。最后要看下是否开启成功，从图中的信息中获知，mongodb采用27017端口，那么我们就在浏览器输http://localhost:27017，打开后mongodb告诉我们在27017上Add 1000可以用http模式查看mongodb的管理信息。

第四部分：数据分析

最后一部分就是数据分析了，我这里用了两个工具。

一个是用artword在线工具，地址：[https://wordart.com]

云图效果

另一个就是使用matplotlib第三方库绘图更直观更系统的表现数据。第一个工具很简单，大家进入网站就会使用，现在主要介绍第二种工具的使用。

先介绍饼图的使用。

plt.figure(figsize=(6,9)) #调节图形大小，宽，高

labels = [u'springboot',u'Cloud',u'spring'] #定义饼状图的标签，标签是列表

sizes = [47.2,30.5,22.3,]#每个标签占多大，会自动去算百分比

colors = ['red','yellowgreen','lightskyblue']

explode = (0.05,0,0)#将某部分爆炸出来，使用括号，将第一块分割出来，数值的大小是分割出来的与其他两块的间隙

patches,l_text,p_text = plt.pie(sizes,explode=explode,labels=labels,colors=colors,

labeldistance = 1.1,autopct = '%3.1f%%',shadow = startangle = 90,pctdistance = 0.6)#labeldistance，文本的位置离远点有多远，1.1指1.1倍半径的位置

#autopct，圆里面的文本格式，%3.1f%%表示小数有三位，整数有一位的浮点数

#shadow，饼是否有阴影

#startangle，起始角度，0，表示从0开始逆时针转，为第一块。一般选择从90度开始比较好看

#pctdistance，百分比的text离圆心的距离

#patches, l_texts, p_texts，为了得到饼图的返回值，p_texts饼图内部文本的，l_texts饼图外label的文本

#改变文本的大小

#方法是把每一个text遍历。调用set_size方法设置它的属性

for t in l_text:

t.set_size(15)

for t in p_text:

t.set_size(15)

#设置x，y轴刻度一致，这样饼图才能是圆的

plt.axis('equal')

plt.legend()

plt.show()

饼图.png

然后是条形图的使用。

people = ('springboot', 'Cloud', 'spring')

y_pos = np.arange(len(people))

performance = 3 + 10 * np.random.rand(len(people))

performance = (307,189,144)

error = np.random.rand(len(people))

plt.barh(y_pos, performance, xerr=error, align='center', alpha=0.4)

plt.yticks(y_pos, people)

plt.xlabel('time')

plt.ylabel('name')

plt.title('blog bar chart')

plt.show()

条形图.png

总结

python给人的整体感觉就是代码简洁，功能强大。针对数据分析有其独特的功能和精确的分析能力。

我们学院软件工程一位大神去了今日头条，干的就是python工程师，本科就拿到了28W的年薪。

在目前的大数据时代，python语言的使用频率也在日渐上升，其用途也会越来越广。

还在等什么，赶紧学python去吧。

python毕业设计课题-毕业设计:爬虫及数据分析相关推荐

Python网易云音乐爬虫大数据分析可视化系统——大屏数据可视化开发之路
介绍现在比较流行的大数据数据可视化都是大屏,有钱的人会使用阿里云全家桶的DataV或者商业化的大屏解决方案,但是在国内还是小公司比较多,本人50年大数据开发经验,精通数据可视化,曾经处理过百万亿级别 ...
【爬虫+数据可视化毕业设计：英雄联盟数据爬取及可视化分析，python爬虫可视化/数据分析/大数据/大数据屏/数据挖掘/数据爬取，程序开发-哔哩哔哩】
[爬虫+数据可视化毕业设计:英雄联盟数据爬取及可视化分析,python爬虫可视化/数据分析/大数据/大数据屏/数据挖掘/数据爬取,程序开发-哔哩哔哩] https://b23.tv/TIoy6hj
毕业设计 python爬虫基础+数据分析
学习目标: 完成内容:python爬虫基础+数据分析(3.23-4.10) 6天学会数据可视化内容 4月10号完成毕设论文 [如果没有被免毕业设计的话] 学习内容: 软件安装安装python3.10 ...
【【数据可视化毕业设计：差旅数据可视化分析，python爬虫可视化/数据分析/大数据/大数据屏/数据挖掘/数据爬取，程序开发-哔哩哔哩】-哔哩哔哩】 https://b23.tv/iTt30QG
[[数据可视化毕业设计:差旅数据可视化分析,python爬虫可视化/数据分析/大数据/大数据屏/数据挖掘/数据爬取,程序开发-哔哩哔哩]-哔哩哔哩] https://b23.tv/iTt30QG ht ...
python爬虫怎么做毕业设计_python语言爬虫做成毕业设计的话，怎样答辩演示，或者怎样把爬虫复杂化？...
作为一名IT行业的从业者,同时也是一名计算机专业的教育工作者,我来回答一下这个问题. 对于计算机专业的学生来说,如果想把毕业设计定位在爬虫上,虽然从技术选型上是完全可以的,但是通过爬虫来获取数据本身还 ...
2022年计算机专业毕业设计课题推荐
又到了大学毕业设计课题选题季,如果你还是选一些什么外卖系统开发.电商平台搭建.在线教育系统开发.ERP企业生产管理系统等等之类的项目作为自己的毕业设计,那就太low了,豪无新意,豪无竞争力. 现本人接 ...
qpsk调制解调matlab_本科毕业设计课题—QPSK相干解调的MATLAB仿真（3）
继续讲解! 给出参考文章! <全数字BPSKQPSK接收机同步技术研究> 模拟中频信号经过模数转换后形成数字中频信号,解调时首先经数字下变频器DDC(digita down-convert ...
数据分析 python 用途-Python 从爬虫到数据分析
大家好,我是大鹏,城市数据团联合发起人,致力于Python数据分析.数据可视化的应用与教学. 和很多同学接触过程中,我发现自学Python数据分析的一个难点是资料繁多,过于复杂.大部分网上的资料总是从 ...
python初学者web还是爬虫-还在纠结学爬虫还是数据分析，不如看看这篇文章
原标题:还在纠结学爬虫还是数据分析,不如看看这篇文章身为职场人,收集上万条表格数据做商业分析,裁剪上千张图片,发送数百封邮件...这些都是经常会遇到的场景.我一直期待能有个工具解放我,直到我遇到了P ...

python毕业设计课题-毕业设计:爬虫及数据分析

python毕业设计课题-毕业设计:爬虫及数据分析相关推荐

最新文章

热门文章