[.NET/C#]快速采集全国城市商圈数据

声明：此文章及所涉及的程序代码仅供学习与交流，使用者如有违反相关法律的行为将负法律责任。

【商圈】在O2O时代是个常用的数据，但数据在网上难以寻找，或遇数据公司的收费障碍。对于开发人员来说，比较好的方式就是付费购买或数据采集。

我在这里提供了一种快速的采集方式，获取【美团】移动端网站的数据。

首先来看采集效果：

已出错的数据：通常是因为在一个表中添加了重复的数据而产生了错误（数据冗余）。

未找到的城市：访问URL时返回了404错误，表示没有这个城市的信息（数据差异）。

采集过程不到10分钟，采集时间长短与电脑配置、网速相关。

虽然数据不保证很高的完整度，但也能获取到1W2左右的数据量（纯商圈数据，不包括省、市、区），具有一定的实用价值（对比一些数据公司售卖的还不到1W）。

采集原理以及过程：

第一步：

在浏览器上打开【美团】移动端网站，地址是：http://i.meituan.com/

当定位到城市的时候，例如在【北京】，我们可以看到浏览器的地址变成了 http://i.meituan.com/beijing 或者http://i.meituan.com?city=beijing

我们要采集数据的页面就是 http://i.meituan.com/beijing

从URL可以看到，美团的城市参数就是城市名的拼音，例如广州【guangzhou】，上海【shanghai】，香港【xianggang 】

没看错，就是拼音。

第二步：

右键页面 - 查看源码，往下找，可以找到一个<script>标签，id 是 filterData

标签里面是个Json对象，把它取出来解析，可以看到是这样一个对象，需要的商圈数据就在对象的 BizAreaList 属性里

第三步：

美团上面可以直接获取【城市】的所有商圈，但商圈的父级是【区域】，因此我们需要准备一个全国省市区三级的数据，这个在网上很容易找到，找不到也不要紧，可以下载附件。

整个的操作步骤就是：获取城市 - 转换拼音 - 请求页面 - 获取数据 - 保存

接下来就是把这个流程转换成程序代码，并把数据保存起来。

在这里不对代码进行说明讲解，因为我不擅长做说明工作 - -`` 有需要可以下载附件。

除了【美团网】以外，也可以从【百度糯米】移动端上采集数据，方法大同小异，大家可以试一下。

附件：戳我下载

[.NET/C#]快速采集全国城市商圈数据相关推荐

【数智化案例展】北京城市规划设计研究院——发力城市商圈数字化监测与评估...
极海案例本项目案例由极海递并参与"数据猿行业盘点季大型主题策划活动--<2022中国企业数智化转型升级创新服务企业>榜单/奖项"评选. 数据智能产业创新服务媒体 -- ...
2019年中国城市商圈发展深度洞察与分析报告
地区经济.交通运输和旅游业的发展促进中国城市商圈发展,iiMedia Research(艾媒咨询)监测发现,广东地区对商圈的关注度最高,高收入企业白领是中国一线城市商圈主要消费者:非一线城市在交通 ...
中国全国城市列表JSON数据2022最新
中国全国城市列表JSON数据 2022最新json数据,2022年8月9日更新最近需要用到中国省市列表的JSON数据本来想把县也包含进去的,但是数量太多了~ 然后决定到市级别(包含县级市) 中国总 ...
爬虫采集全国工商系统的数据（外接打码平台）
javascript的代码用的是java的javascript引擎,用python的jpype去调用java的对象.因为试了好多python的js库,PYv8装起来太麻烦.而且对js的eval函数支持 ...
全国重点城市春节商圈客流数据来了，最火爆商圈果然是它 | 数说热点
作为疫情防控政策进一步放开后的首个春节,在"返乡潮"."出游潮"和各地促销费政策的刺激下,火热强劲且亮点纷呈的线下消费市场随烟火气再次回归.那么2023年春节, ...
基于快速GeoHash，如何实现海量商品与商圈的高效匹配？
阿里妹导读:闲鱼是一款闲置物品的交易平台APP.通过这个平台,全国各地"无处安放"的物品能够轻松实现流动.这种分享经济业务形态被越来越多的人所接受,也进一步实现了低碳生活的目标. ...
一种基于快速GeoHash实现海量商品与商圈高效匹配的算法
摘要闲鱼app根据交通条件.商场分布情况.住宅区分布情况综合考虑,将城市划分为一个个商圈.杭州部分区域商圈划分如下图所示. 闲鱼的商品是由用户发布的GPS随机分布在地图上的点数据.当用户处于某个 ...
基于快速GeoHash，如何实现海量商品与商圈的高效匹配？...
小叽导读:闲鱼是一款闲置物品的交易平台APP.通过这个平台,全国各地"无处安放"的物品能够轻松实现流动.这种分享经济业务形态被越来越多的人所接受,也进一步实现了低碳生活的目标. 今 ...
基于快速GeoHash，如何实现海量商品与商圈的高效匹配
闲鱼app根据交通条件.商场分布情况.住宅区分布情况综合考虑,将城市划分为一个个商圈.杭州部分区域商圈划分如下图所示. 闲鱼的商品是由用户发布的GPS随机分布在地图上的点数据.当用户处于某个商圈范围内 ...

[.NET/C#]快速采集全国城市商圈数据

[.NET/C#]快速采集全国城市商圈数据相关推荐

最新文章

热门文章