python爬虫开发数据库设计_基于Python的DBLP数据库爬虫系统
老师让写个爬虫帮他爬点数据，以前没写过爬虫，网上查下Python挺方便的，花了一晚上把Python入了个门就开始写了，写篇博客记录下这个过程。
最近在上软件工程，用用软件工程那套来写下，嘿嘿。
1. 需求分析
Python爬虫系统，对DBLP（http://dblp.uni-trier.de/）的论文信息进行爬取并存储数据库，爬取信息包括论文题目、作者、论文发表的会议名称、页码、年份、开会地点、开会日期等信息。姓名的姓和名分两个字段存储。将上述数据存入数据库，并可以进行查询。本系统能够爬取和统计以下计算机类国际会议在2000年到2013年间的论文信息并存储入库。(会议名称：ASPLOS，FAST ，HPCA，ISCA，MICRO，HPDC，SC，USENIX ATC，IPDPS，SIGCOMM）。
2. 设计说明
本系统的编程语言为Python,Python通过MySQLdb来连接数据库并进行各项操作，通过spynner库来解决动态加载的页面，spynner依赖pyqt，pyqt依赖sip。
数据库的E-R图设计如下（偷个懒，，不用Visio了。。）：
爬虫主要是通过Python的urllib2，re模块实现。
其中urllib2主要用于用于网页的获取，re主要是通过正则表达式进行网页信息的处理。
Mysql数据库主要是通过Navicat来显示，并实现增删改。
python爬虫开发数据库设计_基于Python的DBLP数据库爬虫系统相关推荐
- 基于python爬虫技术的应用_基于Python爬虫技术的应用
办公自动化杂志 一.引言 本文主要是对 Python 爬虫技术进行阐述,基于 python 的爬虫与其他语言相比的有很多优势.通过爬去某个网站的所有新闻这个案例,来进一步阐释 Python 爬虫技术的 ...
- 基于python的压测工具_基于Python和SIPp的自动化压力测试系统设计和实现
信斌 王桂花 摘要:首先,分析了现有测试系统的不足,之后,介绍了软件组成和运行环境说明,最后,设计了基于Python和SIPp的自动化压力测试系统,并给出了相关代码.新的测试系统克服了现有测试系统的不 ...
- 考试 mysql 数据库设计_基于MySQL的在线考试系统数据库设计
2017年第8期信息通信2017 (总第176 期)INFORMATION & COMMUNICATIONS (Sum. No 176) 基于M ySQL的在线考试系统数据库设计 陈松楠,侯丽 ...
- python爬虫可视化web展示_基于Python爬虫的职位信息数据分析和可视化系统实现
1. 引言 在这个新时代,人们根据现有的职位信息数据分析系统得到的职位信息越来越碎片化,面对收集到的大量的职位信息数据难以迅速地筛选出对自己最有帮助的职位信息,又或者筛选出信息后不能直观地看到数据的特 ...
- python上位机界面设计_用Python写界面--上位机开发
Python真的可以说是无所不能,上到人工智能.图像识别.下到控制电机.爬虫.数据处理,前不久发现Python还可以做界面,虽然比较丑,但是还是可以一试. Python内置图形界面库--Tkinter ...
- python分布式爬虫开题报告范文_基于Python的豆瓣Top250排行榜影片数据爬取和分析开题报告...
一.选题依据:(简述研究现状,说明该毕业设计的设计目的及意义) 研究现状 Python是一门很全面的语言,又随着大数据和人工智能的兴起,广受爬虫设计者们的青眯.设计者们运用Python语言的框架-Sc ...
- python制作物联网控制软件下载_基于Python和Django框架的物联网智能设备管理系统的设计与实现...
论文写作指导:请加QQ229366758 基于Python和Django框架的物联网智能设备管理系统的设计与实现 作者:未知 摘 要:针对目前日益增多的智能设备提出了兼容性好,稳定性高,易于管理的管理 ...
- python实现高校教务管理系统_基于Python技术的教务管理系统的研究与开发
龙源期刊网 http://www.qikan.com.cn 基于 Python 技术的教务管理系统的研究与 开发 作者:戴雯惠 来源:<价值工程> 2018 年第 27 期 摘要:随着教育 ...
- python数据接口设计_基于python的接口测试框架设计（一）连接数据库
基于python的接口测试框架设计(一)连接数据库 首先是连接数据库的操作,最好是单独写在一个模块里, 然后便于方便的调用,基于把connection连接放在__init__()方法里 然后分别定义D ...
最新文章
- Angularjs Services
- python好不好用_但python以前不太好用
- java 微分方程求解_Java中的微分方程
- 主叫号码未显示怎么设置_微信未授权抖音，应该怎么设置？
- GridView的一些常用属性：
- JavaWeb基础(jsp初识)
- CSS如何让DIV的宽度随内容的变化
- linux下用ntp对时
- 他51岁，给卫星写代码：彪悍的人生，从来不怕晚！
- 《2008胡润百富榜》前三名
- Java之StringBuffer使用方法
- 程序员PDF书籍下载
- C盘下出现msdia80.dll文件
- 阿里云 vs Azure-大数据
- 使用Win64OpenSSL_Light生成自签名https授权证书的几个坑
- 6.论文学习Modality-aware Mutual Learning for Multi-modal Medical Image Segmentation
- linux vfe框架,bsp内核的摄像头使用
- 快排和归并排序--快排处理第k大元素
- 解决SQL Server报错：229、262、5123
- H5营销有什么优势？企业需要定制开发H5吗？