如何抓取（采集）大众点评网的坐标（经纬度）信息

转载：http://www.site-digger.com/html/articles/20111110/18.html

发布时间：2011-11-10

大众点评的地图位置很精确，但从HTML源码中却找不到坐标（经纬度）信息。

利用地址加载地图往往有比较大的偏差，从这一点上分析它肯定是利用的坐标（经纬度）信息。

分析JS发现原来它是把坐标（经纬度）信息进行了转换（防采集），就是HTML中的poi参数。

例如，http://www.dianping.com/shop/550409 如下图所示poi参数。

在JS中可以找到解码该参数的方法如下:

function decode(C) {        var digi=16;        var add= 10;        var plus=7;        var cha=36;        var I = -1;        var H = 0;        var B = "";        var J = C.length;        var G = C.charCodeAt(J - 1);        C = C.substring(0, J - 1);        J--;        for (var E = 0; E < J; E++) {            var D = parseInt(C.charAt(E), cha) - add;            if (D >= add) {                D = D - plus            }            B += (D).toString(cha);            if (D > H) {                I = E;                H = D            }        }        var A = parseInt(B.substring(0, I), digi);        var F = parseInt(B.substring(I + 1), digi);        var L = (A + F - parseInt(G)) / 2;        var K = (F - L) / 100000;        L /= 100000;        return {            lat: K,            lng: L        }}document.write(decode('HHDFJGZVVIHIJG').lat+','+decode('HHDFJGZVVIHIJG').lng);<br>

鲲鹏数据的技术人员给出该decode函数的Python实现如下：

# coding: utf-8# 解析大众点评地图坐标参数(POI)# 鲲鹏数据 http://www.site-digger.comdef to_base36(value):    """将10进制整数转换为36进制字符串    """    if not isinstance(value, int):        raise TypeError("expected int, got %s: %r" % (value.__class__.__name__, value))    if value == 0:        return "0"    if value < 0:        sign = "-"        value = -value    else:        sign = ""    result = []    while value:        value, mod = divmod(value, 36)        result.append("0123456789abcdefghijklmnopqrstuvwxyz"[mod])    return sign + "".join(reversed(result))def decode(C):    """解析大众点评POI参数    """    digi = 16    add = 10    plus = 7    cha = 36    I = -1    H = 0    B = ''    J = len(C)    G = ord(C[-1])    C = C[:-1]    J -= 1        for E in range(J):        D = int(C[E], cha) - add        if D >= add:            D = D - plus        B += to_base36(D)        if D > H:            I = E            H = D    A = int(B[:I], digi)    F = int(B[I+1:], digi)    L = (A + F - int(G)) / 2    K = float(F - L) / 100000    L = float(L) / 100000    return {'lat': K, 'lng': L}if __name__ == '__main__':    print decode('IBGITBZUHGDVEM')

效果演示：在本文的最开始放置了一个查询表单，输入某个商铺的URL点击查询后即可查看到该商铺的坐标（经纬度）信息。

特别说明：该文章为鲲鹏数据原创文章，你除了可以发表评论外，还可以转载到你的网站或博客，但是请保留源地址，谢谢!!（尊重他人劳动，你我共同努力）

如何抓取（采集）大众点评网的坐标（经纬度）信息相关推荐

jsoup实战之抓取大众点评网区域省份城市信息
需求:从大众点评网抓取所有区域,省份,城市信息所使用技术:manve+jsoup.1.7.3+httpclient.4.3.3 pom.xml <project xmlns="ht ...
大众点评坐标抓取php,如何抓取（采集）大众点评网的坐标（经纬度）信息
发布时间:2011-11-10 大众点评的地图位置很精确,但从HTML源码中却找不到坐标(经纬度)信息. 利用地址加载地图往往有比较大的偏差,从这一点上分析它肯定是利用的坐标(经纬度)信息. 分析JS ...
Python3 实现大众点评网酒店信息和酒店评论的网页爬取
**作者:**Mr. Ceong 链接:http://blog.csdn.net/leigaiceong/article/details/53188454 Python3 实现大众点评网酒店信息和酒店 ...
爬取了大众点评和去哪儿网上4312家长沙美食,看看什么值得吃？|凹凸数读
原文链接:五一去长沙,到了吃点啥?|数据会说话Vol.01-凹凸数读爬虫和源数据在文末! 我们在去哪儿网爬取了五一广场周围5公里之内2000家美食的经纬度地理坐标,利用echarts与百度地图API ...
python数据分析可视化大众点评网餐厅口碑包含数据
部分代码 import pandas as pd import numpy as np import matplotlib.pyplot as plt plt.rcParams["font. ...
python爬虫实战一|大众点评网
PS:如果不懂的可以看我的上一篇文章快速入门Python爬虫阶段类型问题需要做到 1 请求网页数据在哪里? 发现网址url规律 2 请求如何获取网页数据先尝试使用requests成功访问 ...
大众点评网2016校招试题选录
大众点评网的校招题还真有特点,分四部分,第一部分是行测的数字规律类题目,第二部分是行测的图形规律题,第三部分是C++.Java的基础选择题,第四部分是四个编程题. 题目都有时间限制,第一二部分皆是普通 ...
全国城市空气质量实时发布平台数据抓取采集获取
全国城市空气质量实时发布平台(https://air.cnemc.cn:18007/ 原http://106.37.208.233:20035/)数据抓取采集获取,数据处理方法 import or ...
大众点评网谈成功秘诀：明白用户感兴趣、需要和寻找的是什么
如今的互联网用户,大多都能够熟练地使用搜索引擎查找到自己需要的信息,"浏览.输入.搜索"早已成为最普遍的上网场景.但是,并不是所有的互联网企业都懂得怎样通过掌握"场景&q ...
大众点评网平台架构组高级工程师 hadoop 应用案例
大数据 hadoop 应用案例大众点评 =========================================================== 大众点评网从2011年中开始使用Had ...

如何抓取（采集）大众点评网的坐标（经纬度）信息

如何抓取（采集）大众点评网的坐标（经纬度）信息相关推荐

最新文章

热门文章