引言

百度慧眼迁徙3.0上线，在选择某一城市的“迁出目的地”或“迁入来源地”后，即可查看该城市迁出、迁入人口的迁徙来源与迁徙时间趋势。对城市大数据研究有所帮助。本文采取Python爬虫抓取百度慧眼数据。

image

准备工作

工具：Chrome

2.查找数据源。

使用开发者工具(F12),打开Network,搜索关键字json。

image

右侧preview预览，打开data内的list，即可看到json格式的数据。

image

3.数据解析

查找json信息后，发现cityrank.jsonp、provincerank.jsonp和historycurve.jsonp都是可以利用的数据。cityrank是精确到市级的数据来源，provincerank是精确到省级的数据来源，historcurve是表示该地历史数据。本文对cityrank.jsonp、provincerank.jsonp进行了爬取。

4.Url解析

右键，open in tab查看地址栏地址。 example：http://huiyan.baidu.com/migration/cityrank.jsonp?dt=province&id=330000&type=move_in&callback=jsonp_1581412681419_9173670

这里可以看到参数有dt，id，type，callback等。经过测试，dt为选取的地点的行政级别。id为选取的地点的行政编码，是百度内部自己的编码。type有move_in和move_out两种参数，对应迁入和迁出。callback对应的是时间戳，时间精度非常大，后文默认分钟级别。

5.百度城市编码

在上一步内，最难填写的是城市代码，一开始猜测与邮政编码有关，后对其进行验证，发现并不完全相同。在浏览了百度地图开放平台之后，查找到了这么一份行政区划乡镇清单201910.xlsx，与省份、城市id完全吻合。并通过在线的excel转json工具，转换为json格式，保存为文件，方便读取。

爬取工作

因为涉及了Excel格式的写入，所以使用前pip install xlwr。

源代码

import requests

import json

import time

import xlwt

def CityName2Code(dt,cityName):

"""城市名/省名转换为编码

Arguments:

dt {str} -- [description]

cityName {str} -- [description]

"""

cityCode=''

searchKey=''

codeKey=''

#城市编码的相对路径

cityCodePath ='migration/CityCode.json'

#打开文件，文件编码格式为UTF-8

data = open((cityCodePath), encoding='utf-8')

result = json.load(data)

if dt=='province':

searchKey='省名称'

codeKey='省代码'

elif dt =='city':

searchKey='地级市名称'

codeKey='地级市代码'

for rowNum in range(len(result)):

if result[rowNum][searchKey]==cityName:

cityCode = result[rowNum][codeKey]

return cityCode

def UrlFormat(rankMethod,dt,name,migrationType,date):

"""字符串定义,默认时间为00:00:00,精确到分钟级别

Arguments:

rankMethod {str} -- city||province 获得数据的行政级别

dt {str} -- city||province 中心地行政级别

name {str} -- example:'温州市||浙江省' 作为中心地的地名

migrationType {str} -- in||out

date {str} -- example:20200202

"""

list_date = list(date)

list_date.insert(4,'-')

list_date.insert(7,'-')

formatDate = ''.join(list_date)

formatDate= formatDate+" 00:00:00"

#转换成时间数组

timeArray = time.strptime(formatDate, "%Y-%m-%d %H:%M:%S")

#转换成时间戳

timeUnix = time.mktime(timeArray)

ID = CityName2Code(dt,name)

url='http://huiyan.baidu.com/migration/{0}rank.jsonp?dt={1}&id={2}&type=move_{3}&date={4}&callback' \

'=jsonp_{5}000_0000000'.format(rankMethod,dt,ID,migrationType,date,int(timeUnix))

return url

#返回数据处理

def JsonTextConvert(text):

"""Text2Json

Arguments:

text {str} -- webContent

Returns:

str -- jsonText

"""

text = text.encode('utf-8').decode('unicode_escape')

head, sep, tail = text.partition('(')

tail=tail.replace(")","")

return tail

def GetData(rankMethod,dt,name,migrationType,date,isExcel):

"""

Arguments:

rankMethod {str} -- city||province 获得数据的行政级别

dt {str} -- city||province 中心地行政级别

name {str} -- example:'温州市||浙江省' 作为中心地的地名

migrationType {str} -- in||out

date {str} -- example:20200202

isExcel {bool} -- true转出为excel格式

"""

r = requests.get(url=UrlFormat(rankMethod,dt,name,migrationType,date))

text = r.text

rawData=json.loads(JsonTextConvert(text))

data= rawData['data']

list = data['list']

nameKey = ''

if rankMethod=='province':

nameKey = 'province_name'

else:

nameKey = 'city_name'

if isExcel == True:

#输出excel格式数据

workbook = xlwt.Workbook(encoding='utf-8') #创建workbook 对象

worksheet = workbook.add_sheet('sheet1',cell_overwrite_ok=True) #创建工作表sheet

table_head = [nameKey,'value']#表头

index = 1

for i in range(len(table_head)):

worksheet.write(0,i,table_head[i])

for l in list:

worksheet.write(index,0,l[nameKey])

worksheet.write(index,1,l['value'])

index=index+1

filename = name+date+'.xls'

workbook.save('migration/'+filename) #保存表

else:

#打印数据

for l in list:

print(l[nameKey],':',l['value'])

def main():

#第一个参数填‘city‘或’province’，为获取数据的行政级别，分别为市级或省级

#第二个参数填‘city‘或’province’，为中心地的行政级别

#第三个参数填‘中心地名’，例如‘浙江省’或‘杭州市’

#第四个参数填时间，例如‘20200210’，默认每天的零点

#第四个参数填True或False,True则输出Excel(文件路径注意)，否则打印出来

GetData('city','province','浙江省','in','20200210',True)

if __name__ == '__main__':

main()