考研大数据爬取与分析工具3.0需求分析文档
- 3.0开发文档
- 3.0需求分析文档
- 3.0运行结果
- 2.0及1.0
文章目录
- 1. 版本信息（徐可可）
- 2. 文档说明（王玮娟）
- 2.1. 文档简介
- 2.2. 文档读者
- 3. 产品简介（王玮娟）
- 3.1. 产品定位
- 3.2. 产品特色
- 3.3. 用户分析
- 4. 产品架构（徐可可）
- 4.1. 产品结构图
- 5. 详细功能说明（徐可可）
- 5.1. 模块列表
- 6. 非功能性需求（陈亚龙）
- 6.1. 性能需求
- 6.2. 系统需求
- 7. 项目规划（燕国强）
- 7.1. 项目可行性
- 7.2. 技术可行性
- 7.3. 可利用的资源
- 7.4. 可持续发展性：
- 7.5. 经营方面
1. 版本信息（徐可可）
| 版本号 | 修订人 | 审核人 | 修订日期 | 修订内容 |
|---|---|---|---|---|
| V3.0 | 王玮娟、陈亚龙、燕国强 | 徐可可 | 20191218 |
全新架构，使用Python高级面向对象特性，引用了Python的包机制。 使用数据库存储数据并实现与Excel表格交互 |
| V2.0 | 王玮娟、陈亚龙、燕国强 | 徐可可 | 20181218 |
全新架构，使用Python面向对象特性，引用了Python的模块机制。 使用Git管理代码 使用Excel表格与用户交互 |
| V1.0 | 王玮娟、陈亚龙、燕国强 | 徐可可 | 20171218 | 架构上使用了Python面向过程的特性 |
2. 文档说明（王玮娟）
2.1. 文档简介
本文档主要描述考研数据帮APP的功能需求及其设计，目的在于清晰地定义各模块的需求细节及逻辑流程。
2.2. 文档读者
本文档主要面向以下读者：考研数据帮APP项目的研发人员、测试人员、产品经理、市场运营人员、管理人员等。
3. 产品简介（王玮娟）
3.1. 产品定位
考研数据帮致力于为考研学生或有考研需求的社会工作人员分析考研数据，提供考研学生选择可考研院校的最新数据，为考研学子选择理想适合自己的院校努力。
3.2. 产品特色
院校考研信息周全，信息更新及时，查询操作比较方便简单。
3.3. 用户分析
主要用户为考研学子、有考研需求的社会工作人员。
4. 产品架构（徐可可）
4.1. 产品结构图
5. 详细功能说明（徐可可）
5.1. 模块列表
| 包名 | 主要模块 | 说明 |
|---|---|---|
| spider | 采集器模块 | 为采集网页数据提供支持 |
| selector | 筛选器模块 | 为对采集到的数据进行筛选/过滤提供支持 |
| analyser | 分析器模块 | 为数据分析提供支持 |
| storer | 存储器模块 | 为存储与读取数据提供支持 |
| multiple | 加速模块 | 暂时提供多进程加速（注意在使用多进程进行异步运行时不能运行采用单例模式设计的类的方法） |
6. 非功能性需求（陈亚龙）
6.1. 性能需求
1、考研数据帮应用可在Windows7，8，10系统中运行，启动后会自动从相关网站上爬取所需要的信息，目前只支持PC端，分析好的数据可在电脑，手机端平台进行查看。
2、用户可在任意时段打开考研数据帮，对最新年限各大高校研招网进行爬取，可快速得到各大高校对研究生招生的人限，推免生，考研科目，参考书，初试分数线，复试科目，以及报录比，找到自己心仪并且能够录取的学校。
6.2. 系统需求
Windows7，8，10，32以及64位操作系统，2G以上运行内存，64G以上硬盘，CPU_I3以上处理器，能流畅打开浏览器即可。
7. 项目规划（燕国强）
7.1. 项目可行性
考研大数据爬取与分析软件项目，是一个通过python语言。通过，在网络上爬取所有考研学校的数据，然后进行分析提取数据。
在这个软件中，我们需要有两个主要的模块：一个是数据的查找，另一个是提取需求的数据。
首先，由于现在大数据时代，信息时代。数据的提取和查询将非常的方便和便利。网上考研数据易于获取，数据分析我们可以借用软件去对我们所提取的数据进行分析。
7.2. 技术可行性
该软件，是通过python语言进行模块实现。我们将运用python爬取技术和分析技术，去进行功能实现。
在网上和学校我们将会接触这方面的技术，从而在技术上我们可以实现。
7.3. 可利用的资源
网上信息方便，而且我们团队本身就在面临考研需求，这有利于我们对软件的更新和实践。同时我们与院校中考研成功的人和老师进行技术交流，将使该软件更加的科学和可靠。
7.4. 可持续发展性：
该软件是免费的，将为每一个考研学子提供帮助，同时设置技术交流和需求界面，让软件使用者提供技术和资源的帮助，这样有助于软件的更新和维护，为每一个学生都提供帮助。
7.5. 经营方面
我们计划将提供广告招商，吸引资金，从而维护软件的更新和费用。同时将一部分资金用于奖励维护和帮助软件更新的技术人才。
考研大数据爬取与分析工具3.0需求分析文档相关推荐
- 大数据 爬取网站并分析数据
大数据+爬取前程无忧校园招聘+flume+hive+mysql+数据可视化 自己搭建的hadoop博客 1.爬取前程无忧网页和校园招聘 1.1用scrapy爬取前途无忧网站,我爬了10w多条数据,在存 ...
- Python网络数据爬取及分析-智联招聘
python网络数据爬取及分析-智联招聘 一. 数据爬取 智联招聘是一家面向大型公司和快速发展的中小企业提供一站式专业人力资源的公司,可在智联招聘网站上根据不同城市.不同职位需求搜索得到相关招聘信息. ...
- 2019FME博客大赛——为数据而生的FME - 腾讯人口迁徙数据爬取与分析
参赛单元:互联网.大数据及云计算 作者:刘啸 单位:上海垣观数据科技有限公司 随着信息技术的发展,大数据的概念越来越引发人们的关注,各种有关于城市的新数据类型也不断涌现,为客观认识城市系统并总结其发展 ...
- 网络爬虫分析实例:基于音悦台网站榜单的数据爬取与分析
基于音悦台网站榜单的数据爬取与分析 本实验代码:进入 一.研究背景 在互联网发展初期,网站相对较少,信息查找比较容易.然而伴随互联网爆炸性的发展,普通网络用户想找到所需的资料简直如同大海捞针,这时为满 ...
- php爬虫：知乎用户数据爬取和分析
php爬虫:知乎用户数据爬取和分析 2016-04-10 PHP开发者 (点击上方公众号,可快速关注) 作者:崔小拽 原文链接:http://cuihuan.net/art ...
- python爬虫实战三：近十年中国电影票房数据爬取与分析
近十年中国电影票房数据爬取与分析 前言 爬取 分析 十年top10 年度top5 每年电影数 每年总票房 二八原则 代码与数据 前言 这篇文章主要讲述的是近十年(2010-2019)中国电影票房数据的 ...
- 一口气实现交通大数据爬取与Python可视化（含数据分享）
今天的文章呢主要目的不是爬虫,而是爬虫的同时顺便实现实时可视化.上次爬摩拜单车数据的文章使用的是传统的ArcGIS进行自定义可视化,硬核 | Python多线程爬取摩拜单车数据与ArcGIS可视化,今 ...
- 手把手教-网络时空大数据爬取与分析DAS系统（瓦片地图获取）
手把手教 | 网络时空大数据爬取与分析DAS系统(瓦片地图获取) 原创 DAS Team 双评价DAS 地理计算语言,为大众赋能地理智慧. --DAS Team 爬取分析DAS系统下载 地址: htt ...
- 【完整版】2019h1深圳二手楼市热度如何？(数据爬取、分析建模)
2019h1深圳二手楼市热度如何?(数据爬取.分析&建模) 文章目录 2019h1深圳二手楼市热度如何?(数据爬取.分析&建模) 一.数据爬取 1.1 多进程爬取2w+深圳已成交二手房 ...
最新文章
- SELECT-OPTIONS对象
- 【工具】公网临时大文件传输工具，文件发送，高速文件传输方法
- boost::regex模块用于测试特定于语言环境的表达式的帮助程序类
- 云原生时代的“精益实践”：企业效能提升10倍“杀手锏
- 针对接口编程，不要针对实现编程
- java中非法运算符_Java 中的运算符和流程控制相关内容的理解
- MyBatis的概述及使用
- opencv函数制作的秒针模型
- 移除span的html,从最后一个span元素的伪元素内容中移除::
- Linux升级python版本
- 在yii中加入mongodb扩展
- 【html5和css3】animation属性整理
- VGG-16网络结构
- 奥维地图怎么查看历史地图_奥维互动地图使用小技巧
- 树莓派的Python成功解决TypeError: Image data cannot be converted to float
- Springboot+微信小程序自习室管理系统毕业设计源码221535
- Winform实现微信功能
- 计算机五大核心部分详解、计算机三大核心硬件、操作系统简介、编程与编程语言、python解释器简介
- 基于rancheros离线安装Habor以及Rancher
- MPLS 次末跳弹出配置_中东版2019款三菱帕杰罗V97配置详情介绍