selenium爬取墨迹天气

我自己需要天气数据会直接使用高德、百度开放平台的API获取，比较方便。但之前因为同学研究需求，他觉得墨迹天气的天气数据相对比较准确一点，所以帮他爬取了墨迹天气的天气数据。
文末有完整代码

1. 准备环境

当时墨迹天气自身提供的API是收费的，现在不知如何，requests的动态爬取针对墨迹天气的页面无法实现，因此选用selenium模仿浏览器进行爬取。
准备：
① python3+selenium库
② 我们需要安装浏览器的支持，如果电脑上已安装有Chrome浏览器，则还需下载chromedirver，注意需要安装与浏览器对应的版本，下载完成后，需要将其添加至系统的Path中。

2. 所需爬取内容

爬取页面的链接为：https://tianqi.moji.com/aqi/china/shaanxi/xian

所需爬取的内容为下方图片中红框内的内容

3. 详细爬取过程

3.1 分析待爬取页面

打开墨迹天气的实时天气状况，https://tianqi.moji.com/aqi/china/shaanxi/xian
如下图所示，图中红框内的数据是动态地在更新。

3.2 利用Selenium提取数据

（1）打开网页

from selenium import webdriver
import time
import csvbrowser = webdriver.Chrome()
browser.get('https://tianqi.moji.com/aqi/china/shaanxi/xian')

（2）定位数据

F12进入开发者页面→Elements→选择器定位数据位置

例如aqi数据，即图中的63，对应在选择器中的位置为id名为api_value的位置。根据位置，提取出aqi数据：

aqi_value = browser.find_element_by_id('aqi_value').text

其它的同理

（3）存储数据

提取的天气数据存储到csv文件中

with open('爬取空气质量.csv','a',newline='') as csvfile:fieldnames = ['local_time','aqi_value','aqi_desc','pm10','pm2.5','NO2','SO2','O3','CO','temperature','temperature_des','humidity','wind']writer = csv.DictWriter(csvfile,fieldnames = fieldnames)writer.writerow(content)

4.完整代码

from selenium import webdriver
import time
import csvdef findSubStr(substr, str, i):count = 0while i > 0:index = str.find(substr)if index == -1:return -1else:str = str[index+1:]i -= 1count = count + index + 1return count - 1
def get_one_page():browser = webdriver.Chrome()browser.get('https://tianqi.moji.com/aqi/china/shaanxi/xian')browser.implicitly_wait(10)weather = {}weather['local_time'] = time.strftime('%Y-%m-%d,%H:%M:%S',time.localtime(time.time()))weather['aqi_value'] = browser.find_element_by_id('aqi_value').text  #aqiweather['aqi_desc'] = browser.find_element_by_id('aqi_desc').textpm = browser.find_elements_by_css_selector('.aqi_info_item li')weather['pm10'] = pm[0].text.split()[1]weather['pm2.5'] = pm[1].text.split()[1]weather['NO2'] = pm[2].text.split()[1]weather['SO2'] = pm[3].text.split()[1]weather['O3'] = pm[4].text.split()[1]weather['CO'] = pm[5].text.split()[1]browser.close()return weather
#a = browser.find_element_by_class_name('aqi_info_item')
def get_second_page():browser = webdriver.Chrome()browser.get('https://tianqi.moji.com/weather/china/shaanxi/xian')browser.implicitly_wait(10)wendu = browser.find_element_by_class_name('left').textweather = {}weather['temperature'] = wendu[findSubStr('\n', wendu, 2) + 1:findSubStr('\n', wendu, 3)]weather['temperature_des'] = wendu[findSubStr('\n', wendu, 3) + 1:findSubStr('\n', wendu, 4)]weather['humidity'] = wendu[findSubStr('\n', wendu, 5) + 1:findSubStr('\n', wendu, 6)]weather['wind'] = wendu[findSubStr('\n', wendu, 6) + 1:findSubStr('\n', wendu, 7)]browser.close()return weatherdef write_to_file(content):with open('爬取空气质量.csv','a',newline='') as csvfile:fieldnames = ['local_time','aqi_value','aqi_desc','pm10','pm2.5','NO2','SO2','O3','CO','temperature','temperature_des','humidity','wind']writer = csv.DictWriter(csvfile,fieldnames = fieldnames)writer.writerow(content)
while True:weather_1 = get_one_page()weather_2 = get_second_page()weather = dict(weather_1,**weather_2)print(weather)write_to_file(weather)time.sleep(3600)

爬取的数据如图：