Python用selenium爬取高德地图商家数据

注：本文仅供学习使用，请勿用于商业，如需指定类目数据请求，私信交流

1.Selenium简介

Selenium是一个用于测试网站的自动化测试工具，支持各种浏览器包括Chrome、Firefox、Safari等主流界面浏览器，同时也支持phantomJS无界面浏览器。

2.支持多种操作系统
如Windows、Linux、Mac、Unix等。

3.安装selenium及webdriver

>>>#命令行下输入
>>>pip install selenium
>>>
>>>webdriver请根据浏览器及版本对应关系下载
>>>下载后请将exe文件放入有环境变量的路径下，一般放在Python目录下
>>>如导入还有问题，请修改Python目录下对应的配置文件

4.获取高德地图商家信息位置

在此页面可以看到请求的地址信息及方式（更多方式请自行查看），这里的Request URL地址就是我们接下来要用到的

5.进入页面拉数据

由4中获取到的地址打开页面，获取页面源码，并将此段文本转换为json格式即可

6.上源码（此为简易版）

import json
from selenium import webdriver
#打开浏览器
browser = webdriver.Chrome()
urls = '' #自行由上面步骤获取
browser.get(urls)
html_source = browser.page_source
#推出浏览器
browser.quit()
#因拉的源码前后有html文本，截取字符串即可
d = json.dumps(html_source[84:-20],ensure_ascii=False)
d1 = json.loads(d)
#转为字典
d2 = eval(d1)
for i in range(len(d2['data']['poi_list'])):#打印商户名称、地址、联系方式print([d2['data']['poi_list'][i]['name'],d2['data']['poi_list'][i]['address'],d2['data']['poi_list'][i]['tel']])break

Python用selenium爬取高德地图商家数据相关推荐

python爬虫——requests爬取高德地图全国天气信息
一.分析在浏览器中搜索高德地图,按F12,点击搜索可以查看到西安市对应的citycode是610100 cityList表示出城市信息,有可能有城市的编号,我们复制他的url查看在json在线解 ...
java中poi搜索工程_爬取高德地图poi数据
高德地图搜索poi的api介绍地址当前想法是爬取目标区域(作者所在小县城)的所有poi数据,存到数据库中作为原始数据,然后供其它系统调用,因为之前爬取过百度地图的poi数据,所以这次工作就驾轻就熟了 ...
爬取高德地图poi数据
高德地图搜索poi的api介绍地址当前想法是爬取目标区域(作者所在小县城)的所有poi数据,存到数据库中作为原始数据,然后供其它系统调用,因为之前爬取过百度地图的poi数据,所以这次工作就驾轻就熟了 ...
python爬取高德地图_爬虫实战:如何爬取高德地图？
提起高德地图,咱们每一个人都不会陌生,高德地图是一款非常好用的地区服务软件,很多用户在出行的时候都会使用这款软件,日程用来导航,也可以用来打车,一次呼叫多种车型,用户可以在这里获得更好的服务,随时都可 ...
Python爬取高德地图各城市天气
Python爬取高德地图各城市天气爬虫练习项目之一.从高德地图json数据接口获取天气.可以获取某省的所有城市天气.高德地图的这个接口还能获取县城的天气,我只写到了市.有兴趣的朋友可以尝试一下. 完 ...
PYTHON爬取高德地图POI
PYTHON爬取高德地图POI 使用高德地图API爬取POI数据,首先需要申请高德地图API的KEY和获取<POI分类编码表>,本实例的最后结果是根据不同的poi类型分别生成多个EXCEL ...
python爬取高德地图数据_你的未来有我导航----教你如何爬取高德地图
简单一文教你如何爬取高德地图目录推荐一. 分析网页结构二.拿到相关网址三.代码实现 3.1 查询所有城市名称和编号 3.2 根据编号查询天气四.完整代码五.保存结果一. 分析网页结构 ...
爬虫实战:如何爬取高德地图？
提起高德地图,咱们每一个人都不会陌生,高德地图是一款非常好用的地区服务软件,很多用户在出行的时候都会使用这款软件,日程用来导航,也可以用来打车,一次呼叫多种车型,用户可以在这里获得更好的服务,随时都可 ...
你的未来有我导航----教你如何爬取高德地图
简单一文教你如何爬取高德地图目录推荐一. 分析网页结构二.拿到相关网址三.代码实现 3.1 查询所有城市名称和编号 3.2 根据编号查询天气四.完整代码五.保存结果一. 分析网页结构 ...
python 使用 selenium 爬取中国福利彩票双色球历史中奖号码
python 使用 selenium 爬取中国福利彩票双色球历史中奖号码前期准备版本:python3 模块:selenium.time.pprint 一开始使用的是 tree 的方式获取数据,但发 ...

Python用selenium爬取高德地图商家数据

Python用selenium爬取高德地图商家数据相关推荐

最新文章

热门文章