源码源码：源码链接

需求和目标

爬取网站：上海地铁的百科词条

获取的爬虫数据结果保存样式如下

{

'莘庄站':

{'subway': ['上海地铁1号线', '上海地铁5号线'],

'neibour': ['外环路站', '春申路站']},

'莲花路站':

{'subway': ['上海地铁1号线'],

'neibour': ['外环路站', '锦江乐园站']}

}

爬取的数据保存中这种格式是为了方便后续处理

根据爬取的数据可以根据起点和终点规划出行路线

爬虫步骤：

爬取上海地铁的百科词条，获取到地铁线路的名称和链接

爬取地铁详情页，提取站点信息并保存

爬虫部分

class ShangHaiSubway:

def __init__(self):

self.headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'

}

self.url = 'https://baike.baidu.com/item/%E4%B8%8A%E6%B5%B7%E5%9C%B0%E9%93%81/1273732?fr=aladdin'

self.station_dict = defaultdict(list)

def get_xpath_obj(self, url):

'''根据url获取xpath对象'''

response = requests.get(url, headers=self.headers)

text = response.content.decode()

return etree.HTML(text)

def get_subways(self, xpath_obj):

'''解析xpath 对象，获取地铁的链接和地铁名称'''

subways = xpath_obj.xpath('//table[@log-set-param="table_view"][1]//tr/td//a')

for subway in subways:

name = subway.xpath('./text()')

href = subway.xpath('./@href')

if not all([name, href]): continue

name = name[0]

href = 'https://baike.baidu.com' + href[0]

yield name, href

def get_stations(self, subway_name, href):

'''访问地铁链接，获取到地铁线路的每一个站点，构造最终数据'''

xpath_obj = self.get_xpath_obj(href)

stations = xpath_obj.xpath('//table[@log-set-param="table_view"][1]//tr')

before = None

for station in stations:

station = station.xpath('./td')

if len(station) <= 1: continue

flag = len(station)

station = station[0].xpath('.//text()')

if not station: continue

if station[0] in ['站名', '车站', '内圈']: continue

if station[0].startswith('往') and flag == 2: continue

station = station[0]

if self.station_dict[station]:

self.station_dict[station]['subway'].append(subway_name)

if before:

self.station_dict[station]['neibour'].append(before)

self.station_dict[before]['neibour'].append(station)

before = station

else:

if before:

self.station_dict[station] = {

'subway': [subway_name], 'neibour': [before]

}

self.station_dict[before]['neibour'].append(station)

else:

self.station_dict[station] = {

'subway': [subway_name], 'neibour': []

}

before = station

def run(self):

xpath_obj = self.get_xpath_obj(self.url)

for name, href in self.get_subways(xpath_obj):

self.get_stations(name, href)

return self.station_dict

根据爬取到的数据规划路线

详细逻辑解释参考这篇博客

def search(start, destination, connection_graph, sort_rule):

'''

connection_graph: 站点关系拓扑图

'''

# 所有行程解决方案

pathes = [[start]]

visited = set()

while pathes:

# 单个行程解决方案

path = pathes.pop(0)

middle_point = path[-1]

if middle_point in visited: continue

# print(connection_graph,middle_point,'mid')

if not connection_graph[middle_point]:

print('输入地铁站有误')

break

successors = connection_graph[middle_point]['neibour']

for city in successors:

if city in path: continue

new_path = path + [city]

pathes.append(new_path)

if city == destination:

print('path:', pathes)

return new_path

visited.add(middle_point)

pathes.append(new_path)

pathes = sort_rule(pathes)

def least(pathes):

pathes.sort(key=len)

return pathes

if __name__ == '__main__':

shang_hai_subway = ShangHaiSubway()

station_dict = shang_hai_subway.run()

print(station_dict)

path = search('杨高南路站','莘庄站',station_dict,least)

for s in path:

print(s+str(station_dict[s]['subway'])+'↓')

结果如下

杨高南路站['上海地铁7号线']↓

高科西路站['上海地铁6号线', '上海地铁7号线']↓

东明路站['上海地铁6号线', '上海地铁13号线']↓

成山路站['上海地铁8号线', '上海地铁13号线']↓

长清路站['上海地铁7号线', '上海地铁13号线']↓

后滩站['上海地铁7号线']↓

龙华中路站['上海地铁7号线', '上海地铁12号线']↓

龙华站['上海地铁11号线', '上海地铁12号线']↓

龙漕路站['上海地铁3号线', '上海地铁12号线']↓

石龙路站['上海地铁3号线']↓

上海南站站['上海地铁1号线', '上海地铁3号线']↓

锦江乐园站['上海地铁1号线']↓

莲花路站['上海地铁1号线']↓

外环路站['上海地铁1号线']↓

莘庄站['上海地铁1号线', '上海地铁5号线']↓

显示还不够，没有换乘提示，继续优化：

if __name__ == '__main__':

shang_hai_subway = ShangHaiSubway()

station_dict = shang_hai_subway.run()

print(station_dict)

path = search('杨高南路站', '莘庄站', station_dict, least)

# for s in path:

# print(s+str(station_dict[s]['subway'])+'↓')

subway = None

for i in range(len(path) - 1):

station = path[i]

if len(station_dict[station]['subway']) == 1:

subway = station_dict[station]['subway'][0]

else:

new_subway = set(station_dict[path[i + 1]]['subway']) & set(station_dict[path[i]]['subway'])

new_subway = new_subway.pop()

if not subway:

subway = new_subway

else:

if new_subway != subway:

print('换乘到', new_subway)

subway = new_subway

print(station, subway)

print(path[-1],subway)

结果如下

杨高南路站 上海地铁7号线

换乘到 上海地铁6号线

高科西路站 上海地铁6号线

换乘到 上海地铁13号线

东明路站 上海地铁13号线

成山路站 上海地铁13号线

换乘到 上海地铁7号线

长清路站 上海地铁7号线

后滩站 上海地铁7号线

换乘到 上海地铁12号线

龙华中路站 上海地铁12号线

龙华站 上海地铁12号线

换乘到 上海地铁3号线

龙漕路站 上海地铁3号线

石龙路站 上海地铁3号线

换乘到 上海地铁1号线

上海南站站 上海地铁1号线

锦江乐园站 上海地铁1号线

莲花路站 上海地铁1号线

外环路站 上海地铁1号线

莘庄站 上海地铁1号线

可以看到刚才我们7号线应该是可以不换乘的但是我们的排序策略是经历的总站数最少而不是换乘最少。其实高德地图之前是两种策略都会提供。现在我已不在魔都了。我们现在来定义换乘最少的排序规则

def least_change(pathes):

def get_change_times(path):

subway = None

times = 0

for i in range(len(path) - 1):

station = path[i]

if len(station_dict[station]['subway']) == 1:

subway = station_dict[station]['subway'][0]

else:

new_subway = set(station_dict[path[i + 1]]['subway']) & set(station_dict[path[i]]['subway'])

new_subway = new_subway.pop()

if not subway:

subway = new_subway

else:

if new_subway != subway:

times += 1

subway = new_subway

return times

pathes.sort(key=get_change_times)

return pathes

新的排序规则结果如下

杨高南路站 上海地铁7号线

高科西路站 上海地铁7号线

云台路站 上海地铁7号线

耀华路站 上海地铁7号线

长清路站 上海地铁7号线

后滩站 上海地铁7号线

换乘到 上海地铁12号线

龙华中路站 上海地铁12号线

龙华站 上海地铁12号线

龙漕路站 上海地铁12号线

换乘到 上海地铁1号线

漕宝路站 上海地铁1号线

上海南站站 上海地铁1号线

锦江乐园站 上海地铁1号线

莲花路站 上海地铁1号线

外环路站 上海地铁1号线

莘庄站 上海地铁1号线

原文链接:https://blog.csdn.net/weixin_44673043/article/details/107496631