Python爬取全国或特定城市百度地图慧眼、百度迁徙迁入迁出大数据

Python爬取全国或城市的百度地图慧眼（百度迁徙）迁入、迁出大数据

百度地图慧眼（百度迁移）迁入迁出大数据的官网显示如图：

爬取百度迁移的大数据，Python代码实现如下：

import requests
import time
import pandas as pd
import datetime# 百度迁移方向 0迁入，1迁出
MOVE = ('move_in', 'move_out')"""
构造10个城市名和代码
代码可以在民政部查找，连接地址 http://www.mca.gov.cn/article/sj/xzqh/2019/2019/201912251506.html
上述连接是2019年11月中华人民共和国县以上行政区划代码
"""
CITY = {'北京': '110000','上海': '310000','广州': '440100','深圳': '440300','成都': '510100','天津': '120000','南京': '320100','杭州': '330100','重庆': '500000','武汉': '420100'}def get_data_from_url(url):print('请求http数据', url)resp = requests.get(url, timeout=5)j = resp.json()if j['errmsg'] == 'SUCCESS':data_list = j['data']['list']return data_listelse:print('请求服务器数据失败!')return Nonedef get_data(city_code, direction, date):if city_code is None:# 根据日期获取当前全国热门的迁入/迁出城市url_nation = f'http://huiyan.baidu.com/migration/cityrank.json?dt=country&id=0&type={direction}&date={date}'return get_data_from_url(url_nation)else:# 根据城市码和日期获取当前城市的迁入/迁出数据url_city = f'http://huiyan.baidu.com/migration/cityrank.json?dt=city&id={city_code}&type={direction}&date={date}'return get_data_from_url(url_city)def get_date(year, month, day):d = datetime.date(year, month, day)return d.__format__('%Y%m%d')def main():# 拼接特定日期，年月日date = get_date(2020, 11, 11)# 获取给定日期、给定城市码的城市迁入/迁出数据data = get_data(city_code=CITY['成都'], direction=MOVE[0], date=date)df = pd.DataFrame(data=data, columns=['city_name', 'province_name', 'value'])df.to_excel('1.xls', encoding='utf-8')  # 数据写入excel文件print(df)time.sleep(3)# 获取给定日期全国热门城市迁入/迁出数据data = get_data(city_code=None, direction=MOVE[0], date=date)df = pd.DataFrame(data=data, columns=['city_name', 'province_name', 'value'])df.to_excel('2.xls', encoding='utf-8')  # 数据写入excel文件if __name__ == '__main__':main()

输出结果，数据存入excel表格，2020年11月11日全国热门迁入城市排名数据：

Python爬取全国或特定城市百度地图慧眼、百度迁徙迁入迁出大数据相关推荐

告诉你那里最受欢迎，python爬取全国13个城市旅游数据
前言文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取http ...
用python爬取全国315个城市肯德基老爷爷的店面信息，看看又是什么神奇的发现
我觉得我生活在这世上二十多年里,去过最多的餐厅就是肯德基小时候逢生日必去,现在长大了,肯德基成了我的日常零食下班后从门前路过饿了便会进去点分黄金鸡块或者小吃拼盘早上路过,会买杯咖啡.主要快捷美味且饱腹 ...
python爬取全国13个城市旅游数据，告诉你那里最受欢迎
抓取数据通过请求https://piao.qunar.com/ticket/list.htm?keyword=北京,获取北京地区热门景区信息,再通过BeautifulSoup去分析提取出我们需要的信 ...
python爬取去哪里_详解Python 爬取13个旅游城市，告诉你五一大家最爱去哪玩？
今年五一放了四天假,很多人不再只是选择周边游,因为时间充裕,选择了稍微远一点的景区,甚至出国游.各个景点成了人山人海,拥挤的人群,甚至去卫生间都要排队半天,那一刻我突然有点理解灭霸的行为了. 今天通过 ...
利用Python爬取全国250m精度的人口数据
此次以GeoQ(智图)为基础,利用Python爬取全国250m精度的人口数据(GeoQ)这个网站开放过250m精度的人口分布数据,而且人口分布有年龄分段等属性.先得注册登录到达创建地图的界面. 看人口 ...
利用Python爬取全国250m精度的人口数据（GeoQ）、房价数据和公交站（线路）等数据
前言文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者: 中原百科 GIS大师兄 PS:如有需要Python学习资料的小伙伴可 ...
python爬虫学习之爬取全国各省市县级城市邮政编码
实例需求:运用python语言在ip查询查ip 网站ip查询同ip网站查询 iP反查域名 iP查域名同ip域名网站爬取全国各个省市县级城市的邮政编码,并且保存在excel文件中实例环境:pyt ...
你在的城市撒币了吗？Python爬取全国各城市消费券发放数据并分析
前言近期,全国多地以各种形式投放消费券.消费补贴来鼓励消费,部分城市在首期消费券的基础上,连续追加发放多期消费券.你在的城市撒币了吗?哪个省份最爱撒币?哪个城市撒币最多?跟随本文一起来看看. 数据说 ...
Python爬取全国地铁站点、地铁线路和发车时刻
爬取全国地铁站点.地铁线路和发车时刻的方法. 一.两种爬取方法概述 (一)html页面爬取 1. 为了收集全国地铁线路的发车时刻信息,刚开始尝试的方法如下: (1)找到每个城市的地铁官网,如& ...
用python爬取全国和全球疫情数据，并进行可视化分析(过程详细代码可运行)
用Python爬取最新疫情数据这次重大疫情,每时每刻数据都有可能变化,这篇博文将为大家讲解如何爬取实时疫情数据,并且分析数据,作出数据可视化的效果. 报告梗概: 对中国疫情分析 1.1 展示各省疫情 ...

Python爬取全国或特定城市百度地图慧眼、百度迁徙迁入迁出大数据

Python爬取全国或特定城市百度地图慧眼、百度迁徙迁入迁出大数据相关推荐

最新文章

热门文章