临近过年，无心上班，只好摸鱼，偶然看见，这篇文章，觉得有趣，便来写一写

Python爬虫实战，pyecharts模块，Python实现中国地铁数据可视化_Python_xiaowu的博客-CSDN博客前言利用Python实现中国地铁数据可视化。废话不多说。让我们愉快地开始吧~开发工具Python 版本：3.6.4相关模块：requests模块;wordcloud模块;熊猫模块;numpy模块;杰巴模块;pyecharts模块;matplotlib模块;以及一些Python自带的模块。环境搭建安装Python并添加到环境变量，pip安装需要的相关模块即可。本次通过对地铁线路数据的获取，对城市分布情况数据进行可视化分析。分析获取地铁信息https://blog.csdn.net/Python_xiaowu/article/details/122563644?utm_medium=distribute.pc_feed_v2.none-task-blog-hot-11.pc_personrecdepth_1-utm_source=distribute.pc_feed_v2.none-task-blog-hot-11.pc_personrec

代码

希望大佬不吝赐教！

先把结果贴上来，分析的后来再讲

、

不知道为啥高德地铁和我输出出来的地铁不太像，可能是因为上海地铁自带一些创作在里面

代码

# -*- coding: utf-8 -*-from email import message
import requests as r
import random
import chardet   #需要导入这个模块，检测编码格式
import time
import re
import 坐标转换
import csvuser_agent_list = ["Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1""Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6","Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6"
]
UserAgent = random.choice(user_agent_list)
headers = {'user-agent': UserAgent}cityUrl = 'http://map.amap.com/subway/index.html?&1100'pattern_select = re.compile('.*?<a class="city select".*?id="(.*?)" cityname="(.*?)"', re.S)  # 正则表达式提取图片地址
pattern = re.compile('<a class="city".*?id="(.*?)" cityname="(.*?)"', re.S)  # 正则表达式提取图片地址
pattern_other = re.compile('.*?<a class="other-city".*?id="(.*?)" cityname="(.*?)".*?', re.S)  # 正则表达式提取图片地址
cityDict =[]def getCityName(url):html = r.get(url,headers=headers).contentencode_type = chardet.detect(html)html = html.decode(encode_type['encoding'])  # 进行相应解码，赋给原标识符（变量）dist = re.findall(pattern_select,html)cityDict.extend(dist)dist = re.findall(pattern,html)cityDict.extend(dist)dist = re.findall(pattern_other,html)cityDict.extend(dist)return cityDictdef getStations():cityDict = getCityName(cityUrl)for item in cityDict:id = item[0]cityname = item[1]stationUrl = 'http://map.amap.com/service/subway?srhdata='+id+'_drw_'+cityname+'.json'# http://map.amap.com/service/subway?srhdata=3100_drw_shanghai.json_json = r.get(stationUrl,headers=headers).json()info = {'city':'','line':'','station':'','longitude':'','latitude':''}info['city'] = _json['s']for l in _json['l']:info['line'] = l['kn']for st in l['st']:info['station'] = st['n']# latitude and longitudelongitude , latitude =st['sl'].split(',')info['longitude'] , info['latitude'] = 坐标转换.gcj02_to_wgs84(float(longitude), float(latitude))print(info.values())fp.writerow(info.values()),'x'time.sleep(random.uniform(0,0.05))if __name__ == '__main__':header = ['城市','线路','站名','经度','维度']f =  open('城市地铁.csv', 'a+',newline='')fp = csv.DictWriter(f, header)fp.writeheader()fp = csv.writer(f)getStations()

希望大佬不吝赐教！

【爬虫】Python爬虫实战，Python实现中国地铁数据可视化arcmap相关推荐

Python爬虫实战，pyecharts模块，Python实现中国地铁数据可视化
前言利用Python实现中国地铁数据可视化.废话不多说. 让我们愉快地开始吧~ 开发工具 Python 版本:3.6.4 相关模块: requests模块; wordcloud模块; 熊猫模块; n ...
Python数据分析实战,，美国总统大选数据可视化分析[基于pandas]
目录前言一.任务详情二.数据集来源三.实现过程四.运行代码前言在学习Python数据分析的过程中,是离不开实战的. 今天跟大家带来数据分析可视化经典项目,美国总统大选数据可视化分析,希望 ...
Python数据分析实战：使用pyecharts进行数据可视化
开始使用基本套路就是先创建一个你需要的空图层,然后使用.set_global_opts修改全局项再用.set_series_opts修改具体的相关配置就可以.当然最好的学习地址一定是官方文档,但是里 ...
Python爬虫实战，pytesseract模块，Python实现BOOS直聘拉勾网岗位数据可视化
前言利用Python实现BOOS直聘&拉勾网岗位数据可视化.废话不多说. 让我们愉快地开始吧~ 开发工具 Python版本: 3.6.4 相关模块: requests模块 pyspider模 ...
python生产实战 python 闭包之庖丁解牛篇
python生产实战 python 闭包之庖丁解牛篇 python生产实战从闭包到中间件什么是闭包计算机中的闭包数学领域中的闭包闭包使用场景 C/C++ 中的闭包思想 C 中类似闭包的结构 ...
2009-2017年中国水资源数据可视化（python+pyecharts）
pyecharts是一款将python与echarts结合的强大的数据可视化工具,本文将为你展示基于pyecharts的2009-2017年中国水资源数据的可视化,将2009-2017年中国水资源总量 ...
知乎爬虫与数据分析（二）pandas+pyecharts数据可视化分析篇（上）
注:代码完整版可移步Github--https://github.com/florakl/zhihu_spider. 知乎爬虫与数据分析(一)数据爬取篇知乎爬虫与数据分析(三)pandas+pyec ...
ChatGPT全栈开发实战：从需求分析到数据可视化，一站式指南助你快速构建全面应用
<ChatGPT全栈开发实战:从需求分析到数据可视化,一站式指南助你快速构建全面应用>是一本旨在引领我们进入全栈开发世界的综合指南.通过结合强大的ChatGPT技术和全栈开发的实践,我们将 ...
ECharts在线编辑中国地图数据可视化展示
1.打开ECharts网站输入网址:https://echarts.apache.org/examples/zh/editor.html?c=map-china&theme=light 2. ...
【数据分析学习笔记day25】实战案例：世界高峰数据可视化+世界高峰数据可视化 (World's Highest Mountains)
文章目录实战案例:世界高峰数据可视化世界高峰数据可视化 (World's Highest Mountains) 实战案例:世界高峰数据可视化世界高峰数据可视化 (World's Highest ...

【爬虫】Python爬虫实战，Python实现中国地铁数据可视化arcmap

代码

希望大佬不吝赐教！

【爬虫】Python爬虫实战，Python实现中国地铁数据可视化arcmap相关推荐

最新文章

热门文章