selenium + bs4 +requests 爬取全国电动汽车充电站数据

0.说明

本文章仅用于python爬虫的学习，爬取到的数据仅用于学习、竞赛等非营利活动，如有侵权请及时联系。

1.简单介绍

我们在爬虫时，往往都是静态界面，或者没有嵌套的的界面，直接使用requests.get()方法就可以获取，但是当遇到动态刷新的界面，或者有iframe嵌套的界面，我们应该怎么处理。

selenium是一个很棒的库，除了可以完成自动化操作，还可以很好的解决上面的问题，下面我以爬取全国电动汽车充电站数据为例，学习一下爬虫的另一些方面。

2.代码部分

话不多说，先上代码

from bs4 import BeautifulSoup
from selenium import webdriver
import re
import requests
import xlsxwriter# 1.得到一个城市所有停车桩链接
info = []
driver = webdriver.Chrome("chromedriver.exe") #启动浏览器
driver.get("http://www.bjev520.com/jsp/beiqi/pcmap/do/pcMap.jsp?cityName=北京")  #用浏览器打开链接，北京可以改成其他省份
driver.switch_to.frame('left')       #网页是嵌套的，在一网页下面，有一个iframe，我们找到这个iframe
soup = driver.find_elements_by_tag_name('a')  #链接都在a标签中，我们找到a标签
for item in soup:info.append(item.get_attribute('href')) #提取数a标签里面的href链接#2.爬虫函数
def get_data(url):try:headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36'}response = requests.get(url, headers=headers)if response.status_code == 200:return response.textelse:print(response.status_code)return Noneexcept:print('访问 http 发生错误... ')return None
# 3.数据筛选
j=1
workbook = xlsxwriter.Workbook("test.xlsx")
df = workbook.add_worksheet()
cols = ["名称","地址","快充数量","慢充数量","支付方式","充电费","服务费","停车费","开放时间"]
for i in range(9):df.write(0,i,cols[i])for u in info:url = uprint(j)html = get_data(url)if html !=None:soup = BeautifulSoup(html)   Name = soup.find_all("div",{"class":"news-top"})[0]name = Name.find_all("p")[0].textAddress = soup.find_all("div",{"class":"news-a"})[0]address = Address.find_all("p")[0].texttry:num = soup.find_all("div",{"class":"news-c"})[0].find_all("p")[0].textp = re.compile('数量：(.*)个')num = re.findall(p,num)[0]except:num = "NA"try:num2 = soup.find_all("div",{"class":"news-c"})[0].find_all("p")[1].textp = re.compile('数量：(.*)个')num2 = re.findall(p,num2)[0]except:num2 = "NA"Pay_type = soup.find_all("div",{"class":"news-con"})[0].find_all("ul",{"class":"news-d details"})[0]pay_type = Pay_type.find_all("li")[0].find_all("div")[0].textp1 = re.compile("支付方式：")pay_num = Pay_type.find_all("li")[1].find_all("div")[0].text.strip()pay_fee = Pay_type.find_all("li")[2].find_all("div")[0].text.strip()pay_park = Pay_type.find_all("li")[3].find_all("div")[0].text.strip()time = Pay_type.find_all("li")[4].find_all("div")[0].text.strip()
#4.把数据存储if name != None:df.write(j,0,name)df.write(j,1,address)df.write(j,2,num)df.write(j,3,num2)df.write(j,4,pay_type)df.write(j,5,pay_num)df.write(j,6,pay_fee)df.write(j,7,pay_park)df.write(j,8,time)j = j+1else:j=j+1workbook.close()

3.内容分析

本次爬虫数据来源：全国电动汽车充电站分布图

进入网页，看到是一个中国地图，地图省份上面有数字，应该是这个省份充电桩数量，我们点进去城市看下，以北京市为例。

左边是地址，右边是地图，我们不关心地图，只关心左边的地址。点击左边的地址，发现跳转到了一个界面，这里面包含了所有的数据，心中窃喜。

话不多说，开始整活

1.检查链接

地图的链接是这样的，一看又是心中狂喜，根据经验，把北京换成其他城市，肯定跳转到其他城市，试验了一下，果然是。这样要得到全国的充电站数据，得到一个一个省的就可以，而且还做好了分类，针不戳。

2.检查网页源代码

发现数据都在这个 id = 'left' 的 iframe框架里面，事情有些不简单了，这时候直接get方法，得到的源代码，没有iframe部分，那怎么办。查了资料发现，可以用selenium库，解决这个问题。

driver = webdriver.Chrome("chromedriver.exe") #启动浏览器
driver.get("http://www.bjev520.com/jsp/beiqi/pcmap/do/pcMap.jsp?cityName=北京")  #用浏览器打开链接，北京可以改成其他省份
driver.switch_to.frame('left')       #网页是嵌套的，在一网页下面，有一个iframe，我们找到这个iframe

这样就进入了iframe里面的html代码。想着可以得到网页的源代码，问题就不大了？？？？

soup = BeautifulSoup(driver.page_source, "html.parser")

可以看到，每一个地点，都在一个链接上面，这个链接都在<a>标签中，单独输入链接，我们可以得到和上面一样的内容，好家伙，那我得到这个界面所有的<a>标签内容不就可以了吗。

话不多说，开始尝试

driver = webdriver.Chrome("chromedriver.exe") #启动浏览器
driver.get("http://www.bjev520.com/jsp/beiqi/pcmap/do/pcMap.jsp?cityName=北京")  #用浏览器打开链接，北京可以改成其他省份
driver.switch_to.frame('left')       #网页是嵌套的，在一网页下面，有一个iframe，我们找到这个iframe
soup = driver.find_elements_by_tag_name('a')  #链接都在a标签中，我们找到a标签
for item in soup:print(item.get_attribute('href')) #提取数a标签里面的href链接

打印出来的结果正是所有的链接

数据的开头和结尾

链接问题解决

3.开始爬虫

爬虫的话，因为都是静态界面，那就三步走：requests.get()获取源代码，Beautifulsoup提取信息，正则表达式进一步提取信息（可选）。

爬虫的代码，url就是上面的链接

def get_data(url):try:headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36'}response = requests.get(url, headers=headers)if response.status_code == 200:return response.textelse:print(response.status_code)return Noneexcept:print('访问 http 发生错误... ')return None

数据筛选

for u in info:url = uprint(j)html = get_data(url)if html !=None:soup = BeautifulSoup(html)   Name = soup.find_all("div",{"class":"news-top"})[0]name = Name.find_all("p")[0].text #地名Address = soup.find_all("div",{"class":"news-a"})[0]address = Address.find_all("p")[0].text #地址try:num = soup.find_all("div",{"class":"news-c"})[0].find_all("p")[0].textp = re.compile('数量：(.*)个')num = re.findall(p,num)[0]except:num = "NA" #快充数try:num2 = soup.find_all("div",{"class":"news-c"})[0].find_all("p")[1].textp = re.compile('数量：(.*)个')num2 = re.findall(p,num2)[0] #慢充数except:num2 = "NA"Pay_type = soup.find_all("div",{"class":"news-con"})[0].find_all("ul",{"class":"news-d details"})[0]pay_type = Pay_type.find_all("li")[0].find_all("div")[0].text #支付方式pay_num = Pay_type.find_all("li")[1].find_all("div")[0].text.strip() #充电费pay_fee = Pay_type.find_all("li")[2].find_all("div")[0].text.strip() #服务费pay_park = Pay_type.find_all("li")[3].find_all("div")[0].text.strip() #停车费time = Pay_type.find_all("li")[4].find_all("div")[0].text.strip() #开放时间

4.数据存储

使用xlxswriter进行对xlsx文件存取，方便数据的合并，看看效果

4.总结

后续的话还可以对数据进一步处理，也可以做可视化，和数据处理。

driver = webdriver.Chrome("chromedriver.exe") 这行代码，要根据自己谷歌浏览器的版本，下载对应的的chromedriver.exe文件。