python爬取你想要的数据,近期由于业务需求,用python爬取了高德地图一些地点的数据,爬出来数据大致情况如下:

image

下面是基本流程:

2.安装网络爬取第三方库,主要是下面三个(pip install 安装);

from urllib.parse import **quote**

from urllib import **request**

import **json**

3.创建网络爬虫爬取数据,并对数据进行解析(这块就直接上代码了);

from urllib.parse import quote

from urllib import request

import json

# import xlwt

web_key = '**********' #自己高德的地图的key密钥

url = "http://restapi.amap.com/v3/place/text"

cityname = "南京" # 自己需要搜索城市

classfiled = "汽车站" # 自己需要搜索的目的地信息(比如想搜索医院,直接替换成医院即可)

i=0 # 爬取的页面信息,i=2时即爬取第2页的数据。当 result['count']=0 时即此页面已经无信息,爬取所有数据时可以用此终止循环

req_url = **url** + "?key=" + **web_key** + '&extensions=all&keywords=' + quote(**classfiled**) + '&city=' + quote(**cityname**) + '&citylimit=true' + '&offset=25' + '&page=' + **str( i) **+ '&output=json'

data = ''

f=request.urlopen(req_url)

data = f.read()

data = data.decode('utf-8')

result=json.loads(data)

# print(result['count']) # 等于0时,即代表此页面已经无信息

result['pois'][0] #显示数据记录格式

处理过会,基本的网页信息就出来了

image

以上的数据是以字典的形式打印出来的,把自己需要获取的字段提出出来就可以了:

for i in range(len(result['pois'])):

print('名称:',result['pois'][i]['name']

,'\n类型:',result['pois'][i]['type']

,'\n省份:',result['pois'][i]['pname']

,'\n城市:',result['pois'][i]['cityname']

,'\n地区:',result['pois'][i]['adname']

,'\n乡镇:',result['pois'][i]['business_area']

,'\n详细地址:',result['pois'][i]['address']

,'\n经纬度:',result['pois'][i]['location']

,'\n图片链接:',result['pois'][i]['photos'][0]['url']

,'\n'

)

部分数据结果如下:

image

高德地图python爬虫 商家_Python3 | 通过百度地图API获取商家详细信息相关推荐

  1. python 实时翻译_python3调用百度翻译API实现实时翻译

    今天需要做一个翻译的工具,找到之前写过的有道翻译,已经不能用了,最后看到百度翻译还不错,不过官方版本是Python2,我需要Python3,就自己写了一个: # coding: utf8 ''' @A ...

  2. 【Python 爬虫 CASE】使用友盟API获取数据

    一.需求 每天需要从友盟网站获取若干应用如下信息 二.实现-分解 1)获取api秘钥 #获取api秘钥 def authorize(user, pasw):url = 'http://api.umen ...

  3. python批量爬取小网格区域坐标系_Python爬虫实例_利用百度地图API批量获取城市所有的POI点...

    上篇关于爬虫的文章,我们讲解了如何运用Python的requests及BeautifuiSoup模块来完成静态网页的爬取,总结过程,网页爬虫本质就两步: 1.设置请求参数(url,headers,co ...

  4. Python3 | 通过百度地图API获取商家详细信息(包括店名,地址,经纬度,电话)

    一.打开百度地图开放平台,选择Web服务API . ​​​​​​官方文档对API接口的调用描述的比较详细,在调用之前先要申请百度地图的账号,然后申请密钥,获取密钥的步骤官方也有说明. 二.通过百度地图 ...

  5. python爬虫实现批量下载百度图片

    今天和小伙伴们合作一个小项目,需要用到景点图片作为数据源,在百度上搜索了一些图片,感觉一个一个手动保存太过麻烦,于是想到用爬虫来下载图片. 本次代码用到了下列一些python模块,需要预先安装Beau ...

  6. python 爬虫学习:抓取智联招聘网站职位信息(二)

    在第一篇文章(python 爬虫学习:抓取智联招聘网站职位信息(一))中,我们介绍了爬取智联招聘网站上基于岗位关键字,及地区进行搜索的岗位信息,并对爬取到的岗位工资数据进行统计并生成直方图展示:同时进 ...

  7. 百度地图利用位置提供服务器,利用百度地图API获取当前位置信息的实例

    利用百度地图API可以做很多事情,个人感觉最核心也是最基础的就是定位功能了.这里分享一个制作的JS可以实现登录网页后定位: var map; var gpsPoint; var baiduPoint; ...

  8. 门店定位怎么在地图上显示_怎么在百度地图上面显示自己店面的地址,

    展开全部 1.进2113入百度地图,然5261后登录自己的百度帐号4102. 2.接着搜1653索一下自己的商铺回是否在地图答上面有标注,如没有再选择添加该地点. 3.进入到百度本地商户中心,再次搜索 ...

  9. 【Python爬虫】之 抓取“微医”上的医生信息

    1.爬虫设计 本文用Python语言实现网络爬虫抓取特定数据,使用Beautiful Soup进行HTML的解析.Beautiful Soup是一个HTML/XML解析器,主要功能是解析和提取HTML ...

  10. Python爬虫笔记——分析AJAX传递的JSON获取数据-初步分析动态网页

    转载文章链接: Python爬虫:分析AJAX传递的JSON获取数据-初步分析动态网页(1) [4]实战:爬取动态网页的两种思路爬取新浪趣图(1) [5]实战:爬取动态网页的两种思路爬取新浪趣图(2) ...

最新文章

  1. bzoj3791作业*
  2. 关于android开发添加菜单XML文件之后无法在R.java中生成ID的问题
  3. NODE-WEBKIT教程(12)全屏
  4. 前端设定项目奖金有多少_华为资深HR:年终奖不是一个合理的奖金制度
  5. oracle修改asm参数文件,学习笔记:Oracle RAC参数文件管理 修改创建asm中的spfile文件...
  6. 【转】C++ 关键字——friend
  7. 【error】Invalid ADAPTORNAME specified. Type 'imaqhwinfo' for a list of available ADAPTORNAMEs.
  8. 浅谈网络通信中的流量整形
  9. python绘制四边螺旋线代_Python绘制3d螺旋曲线图实例代码
  10. 的标题形状工具在哪里_一分钟教你做一款让人眼前一亮的标题!你想学吗?「Word技巧」...
  11. 设计模式的征途—4.抽象工厂(Abstract Factory)模式
  12. PPT扩展展示时,PPT展示界面背景色有时候突然变成黑底?如何解决?
  13. 思翼FM30高频头转发模式
  14. Contrastive Loss 详解及用法
  15. 双线macd指标参数最佳设置_MT4双线MACD设置方法及扩展应用
  16. python中的df是什么意思_python df遍历的N种方式
  17. 数星星 Stars 题解
  18. 功能强大的黑科技APP,各种免费资源一应俱全!
  19. Vue3.0基础教程:条件渲染:v-if v-else-if v-if;列表渲染:v-for
  20. python三国演义人物 统计分析_Python统计三国演义主要人物出场次数

热门文章

  1. 环境和社会风险分类c类_A、B、C级风险隐患分类标准
  2. 如何用matlab画一个球
  3. 在简历中使用STAR法则
  4. Foobar2000 是一个 Windows 平台下的一个革命性的高级音频播放器
  5. python实现分词和词云制作
  6. 2022年上半年信息系统项目管理师上午客观题参考答案及解析(一)
  7. 以下数值中 不能用作C语言标识符,C语言题库及答案(选择题)
  8. Calendar日期类使用总结
  9. python 强类型 弱类型_Python 到底是强类型语言,还是弱类型语言?
  10. node.js(二 --- events 、buffer、)