python-selenium模拟登陆(滑动验证码)

普通滑动验证码验证

只需要我们将滑块拖动指定位置，处理起来比较简单。拖动之前需要先将滚动条滚动到指定元素位置,但是需要注意目标网站对selenium的反爬,如window.navigator.webdriver识别;滑块移动速度识别等;

带缺口(拼图)滑动验证码

这一类验证码可以使用两种方式识别:
①在目标网站带有完整背景图时,可以获取完整背景图与带缺口的图片进行比较,获取缺口的位置,计算距离,拖动滑块移动至缺口即可;
②尝试先用cv2的边缘检测识别出边界，然后进行模糊匹配，匹配出拼图在验证码图片的位置。

边缘检测

v2模块提供了多种边缘检测算子，包括Sobel、Scharr、Laplacian、prewitt、Canny或Marr—Hildreth等，每种算子得出的结果不同。这里我们用Canny算子，测试了很多算子，这种效果最好。

调整一下canny算子的阈值，使得输出图片只包含拼图轮廓

import cv2lowThreshold = 0
maxThreshold = 100# 最小阈值范围 0 ~ 500
# 最大阈值范围 100 ~ 1000def canny_low_threshold(intial):blur = cv2.GaussianBlur(img, (3, 3), 0)canny = cv2.Canny(blur, intial, maxThreshold)cv2.imshow('canny', canny)def canny_max_threshold(intial):blur = cv2.GaussianBlur(img, (3, 3), 0)canny = cv2.Canny(blur, lowThreshold, intial)cv2.imshow('canny', canny)# 参数0以灰度方式读取
img = cv2.imread('vcode.png', 0)cv2.namedWindow('canny', cv2.WINDOW_NORMAL | cv2.WINDOW_KEEPRATIO)
cv2.createTrackbar('Min threshold', 'canny', lowThreshold, max_lowThreshold, canny_low_threshold)
cv2.createTrackbar('Max threshold', 'canny', maxThreshold, max_maxThreshold, canny_max_threshold)
canny_low_threshold(0)# esc键退出
if cv2.waitKey(0) == 27:cv2.destroyAllWindows()

在对目标网站进行测试后发现最小阈值100、最大阈值500输出结果比较理想

模糊匹配

我们用cv2的matchTemplate方法进行模糊匹配，匹配方法用CV_TM_CCOEFF_NORMED归一化相关系数匹配。

几种方法算法详见。
【1】平方差匹配 method=CV_TM_SQDIFF square dirrerence(error)
这类方法利用平方差来进行匹配,最好匹配为0.匹配越差,匹配值越大.
【2】标准平方差匹配 method=CV_TM_SQDIFF_NORMED standard square dirrerence(error)
【3】相关匹配 method=CV_TM_CCORR
这类方法采用模板和图像间的乘法操作,所以较大的数表示匹配程度较高,0标识最坏的匹配效果.
【4】标准相关匹配 method=CV_TM_CCORR_NORMED
【5】相关匹配 method=CV_TM_CCOEFF
这类方法将模版对其均值的相对值与图像对其均值的相关值进行匹配,1表示完美匹配,
-1表示糟糕的匹配,0表示没有任何相关性(随机序列).
【6】标准相关匹配 method=CV_TM_CCOEFF_NORMED

import cv2
import numpy as npdef matchImg(imgPath1,imgPath2):imgs = []# 原始图像，用于展示sou_img1 = cv2.imread(imgPath1)sou_img2 = cv2.imread(imgPath2)# 原始图像，灰度# 最小阈值100,最大阈值500img1 = cv2.imread(imgPath1, 0)blur1 = cv2.GaussianBlur(img1, (3, 3), 0)canny1 = cv2.Canny(blur1, 100, 500)cv2.imwrite('temp1.png', canny1)img2 = cv2.imread(imgPath2, 0)blur2 = cv2.GaussianBlur(img2, (3, 3), 0)canny2 = cv2.Canny(blur2, 100, 500)cv2.imwrite('temp2.png', canny2)target = cv2.imread('temp1.png')template = cv2.imread('temp2.png')# 调整显示大小target_temp = cv2.resize(sou_img1, (350, 200))target_temp = cv2.copyMakeBorder(target_temp, 5, 5, 5, 5, cv2.BORDER_CONSTANT, value=[255, 255, 255])template_temp = cv2.resize(sou_img2, (200, 200))template_temp = cv2.copyMakeBorder(template_temp, 5, 5, 5, 5, cv2.BORDER_CONSTANT, value=[255, 255, 255])imgs.append(target_temp)imgs.append(template_temp)theight, twidth = template.shape[:2]# 匹配拼图result = cv2.matchTemplate(target, template, cv2.TM_CCOEFF_NORMED)# 归一化cv2.normalize( result, result, 0, 1, cv2.NORM_MINMAX, -1 )min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(result)# 匹配后结果画圈cv2.rectangle(target,max_loc,(max_loc[0]+twidth,max_loc[1]+theight),(0,0,255),2)target_temp_n = cv2.resize(target, (350, 200))target_temp_n = cv2.copyMakeBorder(target_temp_n, 5, 5, 5, 5, cv2.BORDER_CONSTANT, value=[255, 255, 255])imgs.append(target_temp_n)imstack = np.hstack(imgs)cv2.imshow('stack'+str(max_loc), imstack)cv2.waitKey(0)cv2.destroyAllWindows()return max_loc[0]

完整程序

完整流程1.实例化浏览器 2.点击登陆，弹出滑动验证框 3.分别新建标签页打开背景图及拼图 4.全屏截图后按照尺寸裁剪 5.模糊匹配两张图片，获取匹配结果位置信息 6.将位置信息转为页面上的位移距离 7.拖动滑块到指定位置

# -*- coding: utf-8 -*-
"""
@Time ： 2021/2/21 10:45
@Auth ： ZBX_LOFM
@File ：Sign_in1.py
@IDE ：PyCharm
@Motto：ABC(Always Be Coding)
"""
import time
import cv2
import canndy_test
from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver import ChromeOptions
'''
滑动验证码识别
'''def isEleExist(browser,id):try:browser.find_element_by_id(id)return Trueexcept:return Falsedef login():driver_path = "C:/Users/61608/Desktop/sign/driver/chromedriver.exe"  #浏览器驱动路径option = ChromeOptions()option.add_argument('--headless')                                    #无头模式,分辨率相当于1600*900的显示屏browser = webdriver.Chrome(options=option, executable_path=driver_path)# 登录页面url = r'https://dnf.gamebbs.qq.com/plugin.php?id=k_misign:sign'# 访问登录页面browser.get(url)# 隐式等待，让js脚本加载完毕browser.implicitly_wait(10)#先转到frame窗口browser.switch_to.frame('ui_ptlogin')browser.find_element_by_id('switcher_plogin').click()browser.implicitly_wait(1)#用户名browser.find_element_by_id('u').send_keys('')#密码browser.find_element_by_id('p').send_keys('')time.sleep(1)browser.find_element_by_id('login_button').click()browser.implicitly_wait(1)# 获取iframe元素，切到另一个iframeframe = browser.find_element_by_id('tcaptcha_iframe')browser.switch_to.frame(frame)time.sleep(1)# 获取背景图srctargetUrl = browser.find_element_by_id('slideBg').get_attribute('src')# 获取拼图srctempUrl = browser.find_element_by_id('slideBlock').get_attribute('src')# 新建标签页browser.execute_script("window.open('');")# 切换到新标签页browser.switch_to.window(browser.window_handles[1])# 访问背景图srcbrowser.get(targetUrl)time.sleep(3)# 截图browser.save_screenshot('image/temp_target.png')w = 680h = 390img = cv2.imread('image/temp_target.png')size = img.shapetop = int((size[0] - h) / 2)height = int(h + ((size[0] - h) / 2))left = int((size[1] - w) / 2)width = int(w + ((size[1] - w) / 2))cropped = img[top:height, left:width]# 裁剪尺寸cv2.imwrite('image/temp_target_crop.png', cropped)# 新建标签页browser.execute_script("window.open('');")browser.switch_to.window(browser.window_handles[2])browser.get(tempUrl)time.sleep(3)browser.save_screenshot('image/temp_temp.png')w = 136h = 136img = cv2.imread('image/temp_temp.png')size = img.shapetop = int((size[0] - h) / 2)height = int(h + ((size[0] - h) / 2))left = int((size[1] - w) / 2)width = int(w + ((size[1] - w) / 2))cropped = img[top:height, left:width]cv2.imwrite('image/temp_temp_crop.png', cropped)windows = browser.window_handlesbrowser.switch_to.window(windows[0])# 模糊匹配两张图片move = canndy_test.matchImg('image/temp_target_crop.png', 'image/temp_temp_crop.png')# 计算出拖动距离,需要根据实际图片进行计算distance = int(move / 2 -  65.5) + 2browser.switch_to.frame('ui_ptlogin')browser.switch_to.frame('tcaptcha_iframe')draggable = browser.find_element_by_id('tcaptcha_drag_thumb')ActionChains(browser).click_and_hold(draggable).perform()# 拖动ActionChains(browser).move_by_offset(xoffset=distance, yoffset=0).perform()ActionChains(browser).release().perform()browser.quit()time.sleep(10)if (isEleExist(browser, 'slideBg')):print('登录失败')else:print('登录成功')if __name__ =="__main__":login()

经测试后发现准确率并不是很高(受网络问题,拼图丢失等影响较大),并不建议使用于生产环境;

可能会存在第一次不成功的情况，虽然拖动到了指定位置但是提示网络有问题、拼图丢失。有些网站在不成功情况下拼图会刷新,可以进行循环迭代直到拼成功为止;有些网站失败不会刷新拼图需要重新跑程序;