首先，我这里有一份相关城市以及该城市的公园数量的txt文件：

分析-02.png

其次，利用百度地图API提供的接口爬取城市公园的相关信息。

所利用的API接口有两个：

1、http://api.map.baidu.com/place/v2/search?q=公园&region=北京&output=json&ak=用户的访问密匙

2、http://api.map.baidu.com/place/v2/detail?uid=xxxxx&output=json&scope=2&ak=用户的访问密匙

第一个API接口可以获得城市公园的一般信息

第二个API接口可以获得城市公园 的详细信息

参数说明：

q:检索的关键字

region:检索的区域(市级以上)

page_size:每一页的记录数量

page_num:分页页码

output:输出格式json/xml

ak:用户的访问密钥，可以在百度地图API平台上进行申请

一、尝试第一个API获取数据并存储至MySQL数据库

下面是对第一个API接口进行访问时返回的结果：

分析-03.png

因为我们的最终结果都是要存储在MySQL数据库中，为了操作上的方便，我直接使用了图形管理工具MySQL-Front新建了数据库：baidumap,并在里面新建两张表，表1city用来存储第一个API的结果，表2park用来存储第二个API的结果。表1结构如下：

分析-04.png

接下来就是写代码请求数据，并将结果存储在表city中：

import requests

import json

import MySQLdb

from datetime import datetime

#从txt文件中获取相关城市并重新生成一个列表

city_list=[]

with open('cities.txt','r',encoding='utf-8') as f:

for eachline in f:

if eachline !='' and eachline !='\n':

city=eachline.split('\t')[0]

city_list.append(city)

f.close()

#定义一个getjson函数用来解析返回的数据

def getjson(palace,page_num=0):

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'

}

url='http://api.map.baidu.com/place/v2/search'

params={

'q':'公园',

'region':palace,

'scope':'2',

'page_size':'20',

'page_num':page_num,

'output':'json',

'ak':'XM53LMurtNQaAPFuKVy1WzSyZCNmNA9H',

}

response=requests.get(url=url,params=params,headers=headers)

html=response.text

decodejson=json.loads(html)

return decodejson

#连接数据库、获得游标，获取数据并插入到数据库中

在获取数据时使用get()方法比较好，避免造成无相关数据时程序的中断

conn=MySQLdb.connect(host='localhost',user='root',password='root',db='baidumap',charset='utf8')

cur=conn.cursor()

for city in city_list:

not_last_page=True

page_num=0

while not_last_page:

decodejson=getjson(city,page_num)

print(city,page_num)

if decodejson.get('results'):

for result in decodejson.get('results'):

park=result.get('name')

lat=result.get('location').get('lat')

lng=result.get('location').get('lng')

address=result.get('address')

street_id=result.get('street_id')

uid=result.get('uid')

sql="""INSERT INTO baidumap.city

(city,park,location_lat,location_lng,address,street_id,uid,time)

VALUES (%s,%s,%s,%s,%s,%s,%s,%s);"""

cur.execute(sql,(city,park,lat,lng,address,street_id,uid,datetime.now()))

conn.commit()

page_num=page_num+1

else:

not_last_page=False

cur.close()

conn.close()

从MySQL导出数据的结果：

分析-05.png

二、尝试第二个API获取数据

第二个API接口：http://api.map.baidu.com/place/v2/detail?uid=xxxxx&output=json&scope=2&ak=用户的访问密匙

里面有一个参数uid，这个参数我们就从之前所保存的city表中进行获取，然后我们尝试对这个API进行访问，返回的结果是：

分析-06.png

在表park建立表结构如下：

分析-07.png

先从表city拿到uid，然后利用第二个API接口进行请求，拿到数据，存储至表park中，代码如下：

from datetime import datetime

import requests

import json

import MySQLdb

#city表中拿到uid

conn=MySQLdb.connect(host='localhost',user='root',password='root',db='baidumap',charset='utf8')

cur=conn.cursor()

sql="Select uid from baidumap.city WHERE id>0;"

cur.execute(sql)

conn.commit()

uids=cur.fetchall()

##定义一个getjson函数用来解析返回的数据

def getjson(uid):

try:

headers={

'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'

}

params={

'uid':uid,

'scope':'2',

'output':'json',

'ak':'XM53LMurtNQaAPFuKVy1WzSyZCNmNA9H',

}

url='http://api.map.baidu.com/place/v2/detail'

response=requests.get(url=url,headers=headers,params=params)

html=response.text

decodejson=json.loads(html)

return decodejson

except:

pass

#获取数据，存储数据

for uid in uids:

uid=uid[0]

print(uid)

decodejson=getjson(uid)

data=decodejson.get('result')

if data:

park=data.get('name')

location_lat = data.get('location').get('lat')

location_lng=data.get('location').get('lng')

address=data.get('address')

street_id=data.get('street_id')

telephone=data.get('telephone')

detail=data.get('detail')

uid=data.get('uid')

tag=data.get('detail_info').get('tag')

detail_url=data.get('detail_info').get('detail_url')

type=data.get('detail_info').get('type')

overall_rating=data.get('detail_info').get('overall_rating')

image_num=data.get('detail_info').get('image_num')

comment_num=data.get('detail_info').get('comment_num')

shop_hours=data.get('detail_info').get('shop_hours')

alias=data.get('detail_info').get('alias')

scope_type=data.get('detail_info').get('scope_type')

scope_grade=data.get('detail_info').get('scope_grade')

description=data.get('detail_info').get('description')

sql="""INSERT INTO baidumap.park(park,location_lat,location_lng,address,street_id,telephone,

detail,uid,tag,detail_url,type,overall_rating,image_num,comment_num,shop_hours,alias,scope_type,scope_grade,

description,time) VALUES (%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s);"""

cur.execute(sql,(park,location_lat,location_lng,address,street_id,telephone,

detail,uid,tag,detail_url,type,overall_rating,image_num,comment_num,shop_hours,alias,scope_type,scope_grade,

description,datetime.now()))

conn.commit()

cur.close()

conn.close()

从MySQL导出数据的结果：

分析-08.png