python收集数据程序_基于Python语言的互联网数据收集软件的设计

软件建立所需的工具及其版本

编写环境与

IDE

Python3.5.2

Windows10

PyCharm

2016.3

Sublime

Text3

第三方库与版本号

Requests

2.12.1

BeautifulSoup

4.5.1

PYQT5

5.8.1

Pyinstaller

库的作用

用于爬虫编写

用于软件

GUI

设计

用于封装

python

程序

1.1

百度地图数据的抓取

一般我们研究区域污染状况成因时，

需要找出污染源的坐

标，

就宏观研究而言，

百度地图是一个很好的选择。经过分析，

百度地图提供一个接口：

http://map.baidu.com/?newmap=1&req⁃

flag=pcmap&biz=1&from=webmap&da_par=direct&pcevaname=

pc4.1&qt=con&from=webmap&c=233&wd={}&pn={}

。其中

代

表的是所需的查找内容，

用于翻页。需要指出的是，

如果访

问过于快速，

会出现访问不成功现象，

这时需要放慢抓取速度

与设置断点续传的功能

[3]

。抓取数据坐标是百度墨卡托坐标，

与经纬度坐标有很大出入，

需要进行坐标转换。

1.2

空气质量数据的抓取设计

本软件的空气质量数据来源于网站：

http://www.pm25.in/

。

在抓取中由于

端的网页采取的

Ajax

所以学采用

Selenium

与

Phantomjs

抓取，

但是会大量占用电脑内存与

CPU

。故笔者将

Headers

设置成手机以便正常抓取。由于代码较长不在此

放出。

1.3

空间热度图与点密度图绘制的设计

可以运用

Python

的标准库

matplotlib

绘制空间的点密度，

热

密度图，

及将上述地图中收集的数据反应的地图中。本软件只

是应用

hexbin

函数做了简单的绘制。由于需要将

matplotlib

嵌

入

PyQt5

开发的窗口内代码较长，

不再给出。

基于

PyQt5

的

GUI

设计

2.1

功能的描述

运用

PyQt5

进行

GUI

设计，

将上述

个爬虫进行封装

[2]

。其

中空气质量按钮对应空气质量数据收集

（自动每一小时收集一

次）

。其中，

坐标转换按钮为百度地图收集的数据的坐标转换

（需要

key

）

。

2.2

界面的设计与运行情况

为了简化界面，

将界面中的菜单栏与状态栏统统删除，

只

留下

个爬虫的相关按钮并尽可能放大

，

如图

。为了保证界

面的美观性，

不再允许用户将界面最大化，

即固定主界面的大

小。其中空气质量数据，

气象数据，

百度地图，

高德地图的二级

界面基本一致，

输入爬取内容与保存位置点击开始即可。

对于地图绘制功能，

是本软件实现的难点内容。需要将

matplotlib

python收集数据程序_基于Python语言的互联网数据收集软件的设计相关推荐

python收集数据程序_用Python挖掘Twitter数据：数据采集
原标题:用Python挖掘Twitter数据:数据采集作者:Marco Bonzanini 翻译:数盟这是7部系列中的第1部分,注重挖掘Twitter数据以用于各种案例.这是第一篇文章,专注于数据 ...
python数据采集系统_基于python的聚焦网络爬虫数据采集系统设计与实现
基于 python 的聚焦网络爬虫数据采集系统设计与实现杨国志 ; 江业峰 [期刊名称] < <科学技术创新> > [年 ( 卷 ), 期] 2018(000)027 [摘要 ...
用python做生物信息数据分析_基于Python的自动获取生物信息数据的软件设计
基于 Python 的自动获取生物信息数据的软件设计 * 周斯涵,刘月兰 ** [摘要] [摘要] 从国际生物信息学数据库中采集数据来进行相关领域的分析, 但随着数据库规模不断扩大 , 数据来源种 ...
python 3d大数据可视化_基于Python的数据可视化库pyecharts介绍
什么是pyecharts? pyecharts 是一个用于生成 Echarts 图表的类库. echarts 是百度开源的一个数据可视化 JS 库,主要用于数据可视化.pyecharts 是一个用于生 ...
python交互式数据可视化_基于Python实现交互式数据可视化的工具，你用过几种？...
作者:Alark Joshi 翻译:陈雨琳来源:数据派THU(ID:DatapiTHU) 我教授了一门关于数据可视化的数据科学硕士课程.我们的数据科学硕士项目是一个为期15个月的强化项目,这个项目已 ...
python实现空气质量提醒程序_基于Python实现空气质量指数可视化
前面我们已经爬取了全国城市空气质量数据( 基于Python实现城市空气质量爬取 ),基于之前我们爬取的数据,本文将使用Python将空气质量最好的前20个城市以柱状图的形式展示出来,点击对应的柱状图能 ...
python怎么爬取新浪微博数据中心_基于Python的新浪微博位置数据获取方法研究....
[1] 新浪微博数据中心.2017微博用户发展报告[EB/OL].[2017-12-25]. http://data.weibo.com/report/reportDetail?id=404. [2] ...
python大数据平台_基于腾讯位置大数据平台的全球移动定位数据Python爬取与清洗...
前不久投稿了一篇论文是以腾讯位置大数据为基础进行人口空间化研究的,但是还未见刊,见刊后会给大家分享下具体的研究方法. 首先打开腾讯位置大数据星云图链接:https://xingyun.map.qq.c ...
python实现实时监控_基于 Python 的交换机实时监控系统的设计与实现
从高校校园网运维工作实际出发,论文提出了一种基于 Python 语言+SNMP协议的网络交换机监测系统设计思路与实现方法.整个系统系统采用B/S模式,基于轻量级的web开发框架web.py实现.后端采 ...

python收集数据程序_基于Python语言的互联网数据收集软件的设计

python收集数据程序_基于Python语言的互联网数据收集软件的设计相关推荐

最新文章

热门文章