Selenium+webdriver爬虫技术实战之沃运维报表提取

新乡网络管理中心：温宏光

在日常工作中，运维人员经常会面临各类报表、数据的提取工作，特别是监控人员，这种报表提取工作可能会更为频繁。如果我们要开发一些自动化运维项目，那么数据自动提取是首先要解决的问题。目前各类网管支撑系统大部分是Web方式，利用爬虫技术可以不用人工干预，自动从网站上获取想要的数据。

selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。下面以沃运维故障工单报表提取为例，简单介绍一下python+selenium+webdriver框架的基本操作。

一、 用户登陆

我们需要做的就是模拟用户登陆操作，找到页面元素，填入用户名和密码，然后点击登陆按钮。需要注意的是很多网站采取的iframe网页嵌套，如存在这种情况，需要先切换至网页元素所在的iframe上再进行定位。主要代码如下：

try:

browser.get("http://10.245.0.225/uf")

print("网站已连接")

except:

print("登陆页面加载超时")

iframe = browser.find_element_by_tag_name("iframe")

browser.switch_to.frame(iframe)   #切换到元素所在的iframe

username = browser.find_element_by_id("username")  #找到用户名输入框

username.send_keys("username")  #输入用户名

passwd = browser.find_element_by_id("password") #找到密码输入框

passwd.send_keys("password")    #输入密码

login_btn = browser.find_element_by_id("loginbtn") #找到登陆按钮

login_btn.click() #点击登陆按钮

二、 告警提取

成功登陆后打开故障管理页面，点击进入工单统计页面，输入开始时间和结束时间，生成报表

browser.get("http://10.245.0.225/uf/dashboard/htmlShowNew.jsp?isopennew=true&type=absolutePath&url=/EOM_FM_WEB//menu.jsp&path=%E7%94%9F%E4%BA%A7%E7%AE%A1%E7%90%86-%3E%E6%96%B0%E6%95%85%E9%9A%9C%E7%AE%A1%E7%90%86")

iframe = browser.find_element_by_tag_name("iframe")

browser.switch_to.frame(iframe)

for li in browser.find_elements_by_tag_name("li"):

if li.text == '省份工单统计(地市维度)':

li.click()

time.sleep(2)

iframe = browser.find_element_by_tag_name("iframe")

browser.switch_to.frame(iframe)

browser.find_element_by_id("startTime").clear()

browser.find_element_by_id("startTime").send_keys("2019-12-01 00:00:00")

browser.find_element_by_id("endTime").clear()

browser.find_element_by_id("endTime").send_keys("2019-12-03 00:00:00")

browser.find_element_by_tag_name("button").click()

三、 报表保存

打开新乡所有告警明细页面，导出报表

browser.get("http://10.245.0.225/REPORT_FM/base/outStatistics/MainInfoSF.jsp?type=%E6%96%B0%E4%B9%A1%E5%B8%82@@%E6%80%BB%E8%AE%A1@@ALL&startTime=2019-12-01%2000:00:00&endTime=2019-12-03%2000:00:00&detailMethod=queryDatasList")

time.sleep(2)

browser.find_elements_by_tag_name("li")[1].click()

time.sleep(1)

browser.find_element_by_xpath('//*[text()=" 导出全部数据"]').click()

time.sleep(2)

for li in browser.find_elements_by_tag_name("button"):

if li.text.find("导出")>0 :

li.click()

四、 结语

可以看出，selenium的工作方式其实很简单，就是找到你需要操作的控件，并对其进行操作，例如按钮点击、文本输入等。我们需要做的就是找到这些控件的标识，然后利用find_element函数进行定位，执行指定动作来达到我们的目的。其使用方便，可以比较轻松解决JavaScript动态数据提取问题，是爬取网站动态数据的重要手段之一。