python舆情系统开发_舆情系统开发

1.背景介绍：

针对天涯论坛(区域论坛-广州687474703a2f2f6262732e7469616e79612e636e/list-329-1.shtml)或其他能够爬取大量区域信息的数据源进行数据采集，并挑选感兴趣的主题(法治)内容制定相应的规则对数据进行清洗，依据BBS发布内容的点击量、评论数、发布时间计算其受关注的影响程度，根据关注度高低对BBS帖子数据排序，将排名高的数据通过图表的形式展示出来。

2.可参考的已上线项目：

687474703a2f2f6c696e6b2e797571696e673030382e636f6d/logins.jsp

3.需求范围描述：

(1)系统包括展示层、业务层、数据库三个模块。采用django作为web服务器框架，echarts作为数据的展示框架，mysql为数据库框架技术。

(2) 展示层主要负责数和分析结果的展示及交付。要求展示爬取的10条最新舆情数据，10条关注度最高的舆情数据，并通过扇形图和折线图展示最近一周舆情情况，扇形图展示主要舆情分类比重，折线图展示数量变化情况。

(3)业务层主要包括数据采集模块、数据清洗模块、分析建模模块、搜索模块。

a)数据采集模块是基于python的爬虫程序，涉及的主要技术包括：正则化表达式、Beautiful Soup4包等(天涯论坛爬虫程序本人已开发，可以直接调用数据库数据)。

b)清洗模块是基于python的数据处理程序。需要能够清除重复样本、根据关键词字典筛选需要的数据(关键词字典由本人提供，比如去掉娱乐新闻，保留和学习教育相关内容)

c)分析建模模块是基于python算法模型，希望应用的主要技术包括：去停用词、jieba分词、词频统计、TF-IDF算法、朴素贝叶斯等算法。分析建模模块主要是分析模型的建立，将清洗后的数据根据其包含的关键词和评论浏览量通过算法计算其热度和影响程度，并将结果排序保存数据库再展示。

d)搜索模块能够在最好的展示界面中对用户提供一个关键字搜索的功能，让用户输入自己感兴趣的关键字，界面按热度和影响程度返回搜索结果。

4.重难点需求说明：

a)系统主界面需设计如下：

b) 爬取的数据信息必须都是和法治相关数据，本人可以提供关键词字典

c) 每开发一部分功能，需将源码同步到本人所提供的云服务器。

5.对开发者要求：

熟悉python开发，开发流程清晰，能够及时与我沟通开发的进程并按照需求进行相应的界面、功能修改。

6.交付要求：

a) 完成主要功能：数据的搜集、分析处理、结果展示

b) 项目需部署到本人提供的云服务器

python舆情系统开发_舆情系统开发相关推荐

python行为驱动测试开发_行为驱动开发在 Python 开发测试中的应用
行为驱动开发 (BDD) 简介行为驱动开发是什么? 说到行为驱动开发(BDD),无可避免的要提到敏捷里面的测试驱动开发(TDD),TDD 的主要思想是"代码即文档",其倡导的流程 ...
android应用程序开发_深圳app开发公司：跨平台应用程序开发工具有哪些？
深圳app开发公司:跨平台应用程序开发工具有哪些?跨平台应用程序开发工具的出现是移动开发的发展和竞争的结果.对更快.更经济的应用程序开发的追求导致了跨平台技术的出现.在移动应用程序开发工具推荐中,哪些 ...
广工android嵌入式系统试卷_嵌入式系统试卷
嵌入式系统试卷一(选择题 1.下面那个系统属于嵌入式系统(,) a."天河一号"计算机系统b.联想t400笔记本计算机 c.联想s10上网本d.联想ophone手机 2(软硬件协 ...
x21能刷小米系统吗_小米系统是安卓系统中最强的吗？大家都错了，它是MIUI的进化版...
小米系统是安卓系统中最强的吗?大家都错了,它是MIUI的进化版现在国产手机做得越来越好了,在硬件方面国产手机比同级别的外国品牌要厚道太多了,所以在中国,外国品牌是没有任何生存空间的.在性价比方面他们 ...
系统页面升级系统中_国产系统哪家强？华为EMUI系统大升级，拿下最强指日可待...
国内手机厂商林立,每家厂商都有自己的操作系统,并且这些操作系统在功能性.设计思路上往往并不同.但是目前国内手机厂商所用的系统其实都是基于安卓系统修改而来的,可谓"一种菜,百样做法" ...
pythonqt4上位机开发_上位机开发之单片机通信实践（一）
经常会有一些学员会问到上位机与单片机之间通信的问题,而我们经常会讲上位机与PLC之间通信,那么其实对上位机开发来说,不管是和PLC通信,还是和单片机通信,通信原理都是一样的.PLC的本质就是单片机,在 ...
简单Android app开发_什么方法开发APP最简单？试试0代码开发平台
开发APP有哪些方式? 说到开发APP,那肯定是找外包公司最方便,只用花钱就能坐等APP完成.但是,现在需要开发APP的公司范围越来越广,传统外包公司高昂的费用显然已经不能普罗大众,那么,有没有简单便 ...
java 托盘开发_基于java开发之系统托盘的应用
代码如下: package com.b510.tray托盘; import java.awt.event.ActionEvent; import java.awt.event.ActionListen ...
java火车票预订系统代码_基于JSP开发火车票网上订票系统 java源码
今天给大家演示的是一款由jsp+servlet+mysql实现的火车票预定管理系统,该系统主要实现的功能有:前台功能:用户查询车票信息.登录注册.购票.查看已购车票.修改密码等功能,后台管理功能:管理 ...

python舆情系统开发_舆情系统开发

python舆情系统开发_舆情系统开发相关推荐

最新文章

热门文章