今天分享个有意思的、容易实现的爬虫项目:通过调用高德地图API,获取广州、佛山“指定商店”(这里使用了“麦当劳”作为示例)的所有分店地址、电话信息。

先看看最终的效果: 大概8秒完成
(gif图片大于5M,放不上来,微信文章里可以看)


适用场景:
快速抓取指定地区的所有门店信息。举例,公司销售想拓展客户,我就把爬虫把广东省所有相关门店的城市、区、门店名称、电话、详细地址信息抓取下来,以便销售有计划地走访拓展。

实现方式:
最开始我想到的方式,是打开网页版高德地图,然后通过模拟人操作输入关键词,抓取响应结果的文本进行提取。试了下,事倍功半!

后来了解到高德提供了API,尝试调用高德API的方式实现,真是多快好省,事半功倍!从工作原理​角度,大致可以划分为这么几个步骤:​
• 步骤1. 申请高德开发“秘钥”
• 步骤2. 利用秘钥,按照一定的规则组件URL
• 步骤3. 将URL响应的结果保存到本地

就这么简单!

1. 申请高德开发“秘钥”

打开百度检索高德开发者平台,注册并创建自己的应用,然后再创建自己的“秘钥” 。

注册和申请都是免费的,​不过免费的秘钥调用有额度限制。作为学习,​还是足够使用了。下面是我自己的秘钥界面​:

详细步骤,可以参考平台的官方指南​:
https://lbs.amap.com/api/webservice/guide/create-project/get-key

2. 利用秘钥,按照一定的规则组件URL

下面是一个示例,检索广州麦当劳门店信息,返回结果json格式,每页显示20条结果,​该链接显示第1页的返回结果。

上图中的参数7:秘钥。

参数很多,有些是必须,有些是可选的。​更多参数说明,请参考下面官方​链接: https://lbs.amap.com/api/webservice/guide/api/search

拼装完成之后,直接把URL放到浏览器中就可以看到结果​。是不是很方便,结果都​立马给你了,你要做的只是把这堆json格式的结果进行提取即可。

3. 将URL的响应结果保存到本地

这里需要做的,只是将先看看检索总共有多少页,然后遍历每一页结果按照指定格式提取即可。

​源代码链接:见微信位置末尾

​备注:记得替换自己的秘钥!

打包好了微信文章:

Python - 爬虫 - 调用高德API案例相关推荐

  1. python调用高德api路径规划_Python调用高德API实现批量地址转经纬度并写入表格的功能...

    本段代码是先将需要转换经纬度的地址爬取在 '地址.csv' 文件里,文件截图示例: 代码展示 # coding=utf-8 # SPL # 时间:2020/12/20 21:15 import csv ...

  2. python调取高德api_Python调用高德API实现批量地址转经纬度并写入表格的功能

    本段代码是先将需要转换经纬度的地址爬取在 '地址.csv' 文件里,文件截图示例: 代码展示 # coding=utf-8 # SPL # 时间:2020/12/20 21:15 import csv ...

  3. Python爬取链家网获取二手房数据并调用高德api获得经纬度

    链家网获得数据地址,高德api获得经纬度(同理链家网也可以换成其他58同城,赶集网的数据,因为反爬虫比较厉害,没时间整,就用链家网的数据先试试水) 首先爬链家网,Info包含一条信息 import j ...

  4. 手把手教你用Python脚本调用 DeepL API Pro 进电子书的行进行中英文自动翻译

    点击上方"Python爬虫与数据挖掘",进行关注 回复"书籍"即可获赠Python从入门到进阶共10本电子书 今 日 鸡 汤 洛阳亲友如相问,一片冰心在玉壶. ...

  5. Python爬虫之Js逆向案例(8)-某乎x-zst-81之webpack

    声明:某乎加密逆向分析仅用于研究和学习,如有侵权,可联系删除 大家好,相信各位童鞋通过上期<Python爬虫之Js逆向案例(7)-知hu最新x-zse-96之rpc方案>这篇文章了解了什么 ...

  6. python爬虫入门 - 代码、案例集合

    python爬虫入门 - 代码.案例集合 资源案例 · 统计 · 如下: 10个Python爬虫入门实例 以上就是关于"python爬虫入门 - 代码.案例集合"的全部内容.

  7. python爬虫实战——猫眼电影案例

    python爬虫实战--猫眼电影案例 ·背景   笔者上一篇文章<基于猫眼票房数据的可视化分析>中爬取了猫眼实时票房数据,用于展示近三年电影票房概况.由于数据中缺少导演/演员/编剧阵容等信 ...

  8. Python爬虫之Js逆向案例(2)-某乎搜索

    Python爬虫之Js逆向案例(2)-知乎搜索 声明:某乎加密逆向分析仅用于研究和学习 大家好,今天继续分享关于某乎关键词搜索接口为案例的Js逆向实战.如果你是一名新手,而且还没有来得及看上一篇< ...

  9. Python爬虫之Js逆向案例(6)-某道翻译

    Python爬虫之Js逆向案例(6)-有道翻译 声明:某道翻译加密逆向分析仅用于研究和学习,如有侵权,可联系删除 大家好,距离上次分享js逆向案例已经有一个月了,在这期间每次在快要揭秘出来时.整理文章 ...

  10. python 爬虫调用 js 的库之 execjs

    python 爬虫调用 js 的库之 execjs 针对现在大部分的网站都是使用 js 加密,js 加载的,并不能直接抓取出来,这时候就不得不使用一些三方类库来执行 js 语句 1. 安装 pip i ...

最新文章

  1. Configuration of OpenCV 2.4.7 in VS2012 (X86)
  2. FPGA之道(59)时空变换之时域优化
  3. 兼容IE8,滚动加载下一页
  4. LeetCode 450 Delete Node in a BST(二叉搜索树中的删除结点)
  5. 进腾讯了!(实习面经分享)
  6. 汉仪尚巍手书_汉仪尚巍手书免费版
  7. 随机模块random、os模块、sys模块、shutil模块
  8. python数据类型的转换_python 数据类型间转换
  9. 【Python基础知识-pycharm版】第七节-函数
  10. 微信小程序条码、二维码生成模块
  11. 周鸿祎:数字孪生时代 网络攻击影响力更甚核弹
  12. 【movable-area、movable-view】 可移动区域组件说明
  13. filter的详细配置
  14. 数学建模计算机部分知识,数学建模计算机知识的应用
  15. moxa串口服务器网页版用户名密码,moxa串口服务器设置密码
  16. 服务器多开安卓系统,安卓云服务器能多开吗
  17. android客户端功能,人人网Android版手机客户端功能详解
  18. PHP面试注意事项与问题
  19. pipeline离线安装
  20. 2008-09赛季NBA直播表(cctv5 广东体育)

热门文章

  1. Python map函数 <map object at 0x000001C5CDCDA2B0>
  2. 关联规则分析(频繁项集查找方法为apriori方法的Fk-1*Fk-1)
  3. 秦牧鸿蒙之体有什么用,第一五一二章 鸿蒙元气
  4. spark编程ERROR01——java.lang.NullPointerException
  5. postgresql.conf log_rotation_size
  6. 对你快速了解恶意软件以及病毒和反病毒
  7. 刚开始参加工作的45条建议
  8. 二值化网络的发展——从原始BNN到MeliusNet
  9. MongoSocketOpenException: Exception opening socket
  10. 37_Flutter之Sliver组件扩展