python爬取地理数据_python爬取所有人位置信息——腾讯位置大数据
腾讯位置大数据
网站
https://heat.qq.com/
网站功能介绍
腾讯位置大数据会将提供所有用户使用腾讯位置的数据信息,但没有用户信息(只有位置信息)。从这个网站我们可以获取所有使用腾讯位置服务的产品(微信、QQ、腾讯地图、京东和美团)的人再全球任何地方产生的定位次数,方便大家人口估测、商业分析和科学研究等。
数据分析
POST请求
打开开发者工具,找到POST请求。这里需要注意的是,网站会每五分钟POST一次getXingyunPoints请求,所以需要等五分钟才能看到这个post请求。
请求解析
等到post请求出现时,我们点开详细信息,每一次getXingyunPoints请求,都是四个。请求信息中,我们需要关注的是locs这个内容,它是由大量的数据组成,中间由英文“,”隔开;
每连续的三个数据为一组数据,这一组数据包含经度、纬度、人数,按照地理标准规范,经纬度小数点后面保留两位也就是说,表现形式为xxx.xx的格式,请求的数据如下所示:
3220,11895,2,3075,11535,2,......
解析为:
纬度32.20,经度118.95,人数为2
纬度30.75,经度115.35,人数为2
…
python代码
"""
@author: 菜C++鸡Java Jiangzl
@Description: 用来爬取腾讯位置大数据信息,再次声明,腾讯位置大数据从没人说是准确数据,也没说是完整数据,发paper的话建议三思
"""
import requests
import json
import pandas as pd
import time
def get_TecentData(count=4, rank=0, increNum=0): # 先默认为从rank从0开始(tecent一次post会post四次)
url = 'https://xingyun.map.qq.com/api/getXingyunPoints'
content = ''
paload = {'count': count, 'rank': rank}
response = requests.post(url, data=json.dumps(paload))
datas = response.text
dictdatas = json.loads(datas) # dumps是将dict转化成str格式,loads是将str转化成dict格式
locs = dictdatas["locs"] # 再提取content(这个需要进一步分析提取出经纬度和定位次数)
locss = locs.split(",")
temp = [] # 搞一个临时容器
for i in range(int(len(locss) / 3)):
lat = locss[0 + 3 * i] # 得到纬度
lon = locss[1 + 3 * i] # 得到经度
count = locss[2 + 3 * i]
#获得陕西的数据---获取每个地方的数据,改这里就行
#举个栗子--请求的元数据是整数,北纬10到20度之间
#就是1000
if(3142
temp.append([int(lat) / 100, int(lon) / 100, count]) # 在容器中存放数据:纬度,经度和定位次数
#数据整理
result = pd.DataFrame(temp)
result.dropna()
result.columns = ['lat', 'lon', 'count']
result.to_csv('TecentData'+str(increNum)+'.txt', mode='a', index=False) # model="a",a的意思就是append,可以把得到的数据一直往TecentData.txt中追加
if __name__ == '__main__':
#如果你想每隔多长时间生成一个文件,就把下面的注释释放掉,就去掉那个#井号,0改成k
#sleep(number) number:间隔时间,每隔一分钟获取一次数据就是 sleep(60)
#while (1):
#for k in range(1000000):
for i in range(4):
get_TecentData(4, i, 0)
#time.sleep(60)
补充
在解析数据的时候注意运行的时间以及数据的筛选,如果不加筛选,每次请求为10M流量,按一秒一次,一小时一般的磁盘可能就满了。
有任何问题,都可私聊或者评论补充,也可积极探讨,互相学习。
python爬取地理数据_python爬取所有人位置信息——腾讯位置大数据相关推荐
- Python爬取所有人位置信息——腾讯位置大数据!
腾讯位置大数据 网站 https://heat.qq.com/ 网站功能介绍 腾讯位置大数据会将提供所有用户使用腾讯位置的数据信息,但没有用户信息(只有位置信息).从这个网站我们可以获取所有使 ...
- python获取gps数据_python获取android设备的GPS信息脚本分享
在android上,我们可以使用QPython来编写.执行Python脚本.它对很多android 系统函数进行了方便的封装,使用QPython编写功能简单的小程序异常方便. 这个示例是我之前用来读取 ...
- python大数据工程师薪资待遇_2019年就业薪资,凭什么大数据工程师遥遥领先?...
现在国内无论是IT,还是通讯行业,招聘人员基本有10%都与大数据相关,而且招聘比例还在不断攀升,巨大的人才缺口也是大数据工程师享有高薪待遇的重要原因. 根据最新的数据统计,我国目前大数据的人才仅仅有4 ...
- python 3d大数据可视化软件_分享4个最受欢迎的大数据可视化工具
想像阅读书本一样阅读数据流?这只有在电影中才有可能发生. 在现实世界中,企业必须使用数据可视化工具来读取原始数据的趋势和模式. 大数据可视化是进行各种大数据分析解决的最重要组成部分之一. 一旦原始数据 ...
- 从数据来源、数据生态、数据技术、数加平台等方面,漫谈阿里大数据
目前人人都在谈大数据,谈DT时代,但是,大数据是什么,每个人都有自己的一个看法,好比盲人摸象,每个都认为自己摸到是真正的大象.我也担心我所看到的,只是大数据的冰山一角,毕竟,将引领整个人类下一次变革的 ...
- 什么是大数据口子_大数据分析师年薪几十万,学什么专业才能从事大数据?
近几年,大数据为各个领域带来了全新的变革,大数据的重要性越来越被企业和国家所看到,大数据工作者的需求再次被无限放大,他们的薪资和社会地位也在不断上涨.马云在演讲中就提到,未来的时代将不是IT时代,而是 ...
- 大数据项目一般金额多少_大数据分析师年薪一般多少?学什么专业才能从事大数据?...
近几年,大数据为各个领域带来了全新的变革,大数据的重要性越来越被企业和国家所看到,大数据工作者的需求再次被无限放大,他们的薪资和社会地位也在不断上涨.马云在演讲中就提到,未来的时代将不是IT时代,而是 ...
- 大数据分析师年薪几十万,学什么专业才能从事大数据?
近几年,大数据为各个领域带来了全新的变革,大数据的重要性越来越被企业和国家所看到,大数据工作者的需求再次被无限放大,他们的薪资和社会地位也在不断上涨.马云在演讲中就提到,未来的时代将不是IT时代,而是 ...
- ❤️让人心跳加速的陌陌案例,大数据必需学会的基础案例!❤️ 【推荐收藏】
全网最详细的大数据HBase文章系列,强烈建议收藏加关注! 已列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 前言 陌陌案例 一.陌陌案例的需求说明 二.陌陌案例中表设计内容 1. ...
最新文章
- 设计模式之“代理模式”
- shell脚本——系统变量 与 变量(定义 使用 只读 删除)
- 自然语言交流系统 phxnet团队 创新实训 个人博客 (二)
- 1张手稿图讲明白 Kubernetes 是怎么运行的
- IDEA创建xml文件
- 创建表 备注 修改表结构 修改约束
- cookie 操作
- CentOS 配置网络yum源
- python中的赋值运算符_整理Python中的赋值运算符
- findfont: Font family [‘sans-serif‘] not found. Falling back to DejaVu Sans.
- 目标检测综述 “Object Detection in 20 Years: A survey“
- mysql sql语法解析器_Druid SQL 解析器概览
- ‘Staring Tomcat v8.0 Server at localhost ’ has encountered a problem 问题解决
- CTF线下赛AWD总结
- 使用FreeType绘制字体
- linux下jdk安装步骤_jdk下载安装步骤
- python源代码文件后缀,python源文件后缀是什么-Python教程
- MP4转MP3——python
- Android开发——Android进程保活招式大全
- Docker百度云下载链接
热门文章
- 3.2.4 页面分配策略
- 概率论 第四章 随机变量的数字特征
- SringIOC中Bean的后置处理器
- C#之foreach语句
- android+点击屏幕隐藏键盘,Android点击EditText文本框之外任何地方隐藏键盘的解决办法...
- struts2的OGNL表达式(三)
- 【JavaSE_08】Java中static、继承、重写
- python协程编程实例_Python异步编程之协程任务的调度操作实例分析
- 从喧闹与富有中搞懂搜索和拓扑
- Java-Web 监听器和过滤器