python 爬虫小案例８６８４网站爬取北京公交路线站点信息。

网址：https://beijing.8684.cn/
通过点击１，２，３等发现网址为https://beijing.8684.cn/ｌｉｓｔ１，２，３。

点击某一路，如１０路，网址为https://beijing.8684.cn/x_8234e473。。采用quote(wd, encoding=“utf-8”)这样，还是不一样，笔者比较菜，应该是编码的问题，有谁知道欢迎留言。
本博客的思路就成了，首先获取１－９开头的公交的所有网址，而后通过解析获取，某路的站点信息，描述信息等。站点的经纬度信息通过百度ＡＰＩ获取。

import requests
from urllib.parse import quote
import re
import pandas as pd
#x_5085a6b6
import timedef get_data(ur):url=r'https://beijing.8684.cn/x_'+urda=requests.get(url)da.encoding='utf-8'da=da.textreturn dadef extract_info(da):Class = re.findall('<h1 class="title">(.*)<a href="/line1', da, re.S)category=re.findall('<a href="/line1" class="category">(.*)</a></h1>',da) descr=re.findall('<ul class="bus-desc"><li>(.*)</li><li>票价',da)price_descr=re.findall('票价信息：(.*)</li><li>公交公司',da)print(Class[0],category[0],descr[0],price_descr[0])stas=re.findall('</div><div class="bus-lzlist mb15"><ol><li><a href="/(.*)</a></li></ol><!-- </ol> --></div><!----><div class="bus-excerpt mb15">',da)dd=str(stas).split('</a></li><li><a href="/')pat=re.compile(r'[\u4e00-\u9fa5]+')t=pat.findall(str(dd))sts=[]for i in range(0,len(t)):sts.append(t[i])
#    return sts# trip=re.findall('<div class="trip">(.*)</div></div><div class="other fr"><div class="total"',da)def get_lat_lon(address):url= 'http://api.map.baidu.com/geocoder?output=json&key=f247cdb592eb43ebac6ccd27f796e2d2&address='+str(address)response = requests.get(url)answer = response.json()lon = float(answer['result']['location']['lng'])lat = float(answer['result']['location']['lat'])
#    print(address,lat,lon)return lat,londef get_bus_num_url(i):url=r'https://beijing.8684.cn/list'+str(i)da=requests.get(url)da.encoding='utf-8'da=da.textdd=re.findall('<a href="/x_(.*)" title="北京(.*)路公交车路线">',da)a=str(dd).split('</a><a href="/x')for add in a[:-1]:ur=re.findall('[A-Za-z0-9][A-Za-z0-9][A-Za-z0-9]+',add)[0]route=re.findall('title=(.*)>',str(add))
#        print(route[0],ur)url_dic[route[0]]=ururl_dic={}
for i in range(5,10):
#    print(i)get_bus_num_url(i)result= pd.DataFrame(columns = ['站点','经度','纬度'])
keys=url_dic.keys()
for key in keys:try:da=get_data(url_dic[key])sts=extract_info(da)for add in sts:#    print(address)address='北京市'+addlat,lon=get_lat_lon('北京市'+address)print(address,lat,lon)result=result.append({'站点':add,'经度':lat,'纬度':lon},ignore_index=True)except:pass

效果图

笔者对爬虫涉猎不多，代码能力也很粗糙，欢迎大佬批评指正。读者可将这些信息保存只表中，有了经纬度信息，就可利用ａｒｃｇｉｓ软件进行数字化展示。

python 爬虫小案例８６８４网站爬取北京公交路线站点信息。相关推荐

Python爬虫实战案例一：爬取猫眼电影
背景笔者上一篇文章<基于猫眼票房数据的可视化分析>中爬取了猫眼实时票房数据,用于展示近三年电影票房概况.由于数据中缺少导演/演员/编剧阵容等信息,所以爬取猫眼电影数据进行补充.关于爬虫的 ...
Python爬虫实战案例：一键爬取，多种网页模板任你选！
文章目录一.网页查看二.网页爬取数据分析三.代码分析四.图片辅助分析五.运行结果 CSDN独家福利降临!!! 更多博主开源爬虫教程目录索引一.网页查看进入网页模板多页爬取二.网页爬取 ...
Python爬虫利用18行代码爬取虎牙上百张小姐姐图片
Python爬虫利用18行代码爬取虎牙上百张小姐姐图片下面开始上代码需要用到的库 import request #页面请求 import time #用于时间延迟 import re #正则表达式 ...
Python爬虫实战系列(一)-request爬取网站资源
Python爬虫实战系列(一)-request爬取网站资源 python爬虫实战系列第一期文章目录 Python爬虫实战系列(一)-request爬取网站资源前言一.request库是什么? 二 ...
Python 爬虫实战，模拟登陆爬取数据
Python 爬虫实战,模拟登陆爬取数据从0记录爬取某网站上的资源连接: 模拟登陆爬取数据保存到本地结果演示: 源网站展示: 爬到的本地文件展示: 环境准备: python环境安装略安装r ...
Python爬虫笔记（3）- 爬取丁香园留言
Python爬虫笔记(3)- 爬取丁香园留言爬取丁香园留言:主要用到了模拟登录爬取丁香园留言:主要用到了模拟登录 import requests, json, re, random,time fr ...
python爬虫之股票数据定向爬取
python爬虫之股票数据定向爬取功能描述目标:获取上交所和深交所所有股票的名称和交易的信息输出:保存到文件中技术路线:requests-bs4-re 前期分析选取原则:股票的信息静态存在H ...
python爬虫初学实战——免登录爬取easyicon里的vip图标（2）
python爬虫初学实战-免登录爬取easyicon里的vip图标(2) 实验日期:2020-08-09 tips:没看过前面(1)的可以康康,指路 -> 爬取easyicon里的png图标成 ...
python爬虫 - 起点女生榜单爬取 - 1
python爬虫 - 起点女生榜单爬取最近一直在追庆余年,顺带瞄了一眼小说,真真是精彩(虽然因为范闲多妻的设定接受不了就放弃了). 说来说去,还是钟爱女频的修仙小说,所以就想爬一下起点女生网 ...
从入门到入土：Python爬虫学习|实例练手|爬取猫眼榜单|Xpath定位标签爬取|代码
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...

python 爬虫小案例８６８４网站爬取北京公交路线站点信息。

python 爬虫小案例８６８４网站爬取北京公交路线站点信息。相关推荐

最新文章

热门文章

python 爬虫小案例 ８６８４网站爬取北京公交路线站点信息。

python 爬虫小案例 ８６８４网站爬取北京公交路线站点信息。相关推荐

最新文章

热门文章

python 爬虫小案例８６８４网站爬取北京公交路线站点信息。

python 爬虫小案例８６８４网站爬取北京公交路线站点信息。相关推荐