python爬取地图地址_网络爬虫-python爬取高德地图地点

python爬取你想要的数据，近期由于业务需求，用python爬取了高德地图一些地点的数据，爬出来数据大致情况如下：

image

下面是基本流程：

2.安装网络爬取第三方库，主要是下面三个(pip install 安装)；

from urllib.parse import **quote**

from urllib import **request**

import **json**

3.创建网络爬虫爬取数据，并对数据进行解析(这块就直接上代码了)；

from urllib.parse import quote

from urllib import request

import json

# import xlwt

web_key = '**********' #自己高德的地图的key密钥

url = "http://restapi.amap.com/v3/place/text"

cityname = "南京" # 自己需要搜索城市

classfiled = "汽车站" # 自己需要搜索的目的地信息(比如想搜索医院，直接替换成医院即可)

i=0 # 爬取的页面信息，i=2时即爬取第2页的数据。当 result['count']=0 时即此页面已经无信息，爬取所有数据时可以用此终止循环

req_url = **url** + "?key=" + **web_key** + '&extensions=all&keywords=' + quote(**classfiled**) + '&city=' + quote(**cityname**) + '&citylimit=true' + '&offset=25' + '&page=' + **str( i) **+ '&output=json'

data = ''

f=request.urlopen(req_url)

data = f.read()

data = data.decode('utf-8')

result=json.loads(data)

# print(result['count']) # 等于0时，即代表此页面已经无信息

result['pois'][0] #显示数据记录格式

处理过会，基本的网页信息就出来了

image

以上的数据是以字典的形式打印出来的，把自己需要获取的字段提出出来就可以了：

for i in range(len(result['pois'])):

print('名称:',result['pois'][i]['name']

,'\n类型:',result['pois'][i]['type']

,'\n省份:',result['pois'][i]['pname']

,'\n城市:',result['pois'][i]['cityname']

,'\n地区:',result['pois'][i]['adname']

,'\n乡镇:',result['pois'][i]['business_area']

,'\n详细地址:',result['pois'][i]['address']

,'\n经纬度:',result['pois'][i]['location']

,'\n图片链接:',result['pois'][i]['photos'][0]['url']

,'\n'

)

部分数据结果如下：

image

python爬取地图地址_网络爬虫-python爬取高德地图地点相关推荐

python数据抓取技术与实战训练_师傅带徒弟学Python：项目实战1：网络爬虫与抓取股票数据...
本视频基于**Python 3.X版本本视频课程是第四篇第一个实战项目,内容包括网络爬虫技术.使用urllib爬取数据.使用Selenium爬取数据.使用正则表达式.使用BeautifulSoup库 ...
java 高德地图数据库_【爬虫】Java关于高德地图爬取数据
不管是目前什么行业,对数据分析和做出合适的判断才是最重要的选择,比如,在某一个城市开一家餐馆,可以去了解这个城市目前一共有多少餐馆,分别那种菜系占比最多,大概菜系的分布范围等等信息,都可以通过爬虫 ...
Python网络爬虫之：调用高德地图的 API接口，完成定位的工作（返回经纬度）
文章目录高德地图 API 的使用方式: 代码部分注意事项高德地图 API 的使用方式: 去高德地图的开放平台注册一个账号,并且创建自己的项目,系统会分配给你一个 key 值,这个具体如何操作可以 ...
爬虫取中间文本_小小爬虫批量抓取微信推文里的图片
哈喽,大家好,今天给大家分享一个特别特别小的爬虫案例! 爬取微信推文中的图片!!!! 有人说,这有啥用,,,,万一人家推文是放的是以图片的方式放的某个PPT的内容呢,你想把它弄下来,咋整,就是爬取啦. ...
python最简单的爬取邮箱地址_python简单爬虫，抓取邮箱
最近,老师给了一个练习是,实现一个爬虫,就爬大概100个网页,匹配出邮箱. 于是,我花了几天时间,熟悉熟悉了python,就有了下面这个超级简单的爬虫程序.各种毛病...... 这里先说明一下,pyt ...
python 无头模式绕过检测_网络爬虫之使用pyppeteer替代selenium完美绕过webdriver检测...
1引言曾经使用模拟浏览器操作(selenium + webdriver)来写爬虫,但是稍微有点反爬的网站都会对selenium和webdriver进行识别,网站只需要在前端js添加一下判断脚本,很容 ...
python的程序入口地址_第一个Python程序
在写代码之前,请千万不要用"复制"-"粘贴"把代码从页面粘贴到你自己的电脑上.写程序也讲究一个感觉,你需要一个字母一个字母地把代码自己敲进去,在敲代码的过程中, ...
python 爬虫热搜_Python网络爬虫之爬取微博热搜
微博热搜的爬取较为简单,我只是用了lxml和requests两个库 1.分析网页的源代码:右键--查看网页源代码. 从网页代码中可以获取到信息 (1)热搜的名字都在的子节点里 (2)热搜的排名都在 ...
python爬虫微博热搜_Python网络爬虫之爬取微博热搜
微博热搜的爬取较为简单,我只是用了lxml和requests两个库 url= https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&am ...

python爬取地图地址_网络爬虫-python爬取高德地图地点

python爬取地图地址_网络爬虫-python爬取高德地图地点相关推荐

最新文章

热门文章