你可能已经了解到了无头浏览器的作用以及使用的方法,那么本篇文章就让我们一起用无头浏览器做点事情。

是的你没有看错,我们要“搞”的对象就是百度指数这个网站,不知道你平时是否会应用到这里面的数据呢?

今天的主要目标就是使用无头浏览器登录百度指数网站,并且绕开它的人机验证,不知道你发现没有,当我们人为正常登录这个网站的时候就不会出现字母、数字或者汉字验证码,而使用无头浏览器登录的时候就会出现这些验证码,闲言少叙我们直接开始正题。

一 正常人为登录为什么不出现验证码?

我们在使用浏览器正常登录百度指数网站的时候发现一般不会弹出验证码的提示。但是如果你使用无头浏览器去登录的时候就会出现验证码,那么这两者登录的区别在哪里呢?

经过我不断的验证发现了两个问题,当我们使用无头浏览器登录的时候做一些类似于人类的操作,例如在窗口中滑动鼠标,或者改变窗口的大小,这样百度指数网站就会认为你是人为的在操作。

第二个问题就是在我们使用无头浏览器输入账号和密码的时候,我们在手动输入密码的时候或多或少的在输入字符之间都会存在时间间隔,而使用无头浏览器的时候程序会零间隔的输入,这样百度指数网站就会认为你是一个程序在输入了。

二 python无头浏览器准备

from selenium import webdriver

from selenium.webdriver.common.action_chains import ActionChains

import time

import sys

word = sys.argv[1]

phone = '此处是你登录百度指数网站的用户名'

password = '此处是你登录百度指数网站的密码'

在上面的代码中我们引入了一些python的库,接下来就是使用无头浏览器前的准备工作。

#打开chrome无头浏览器

opt = webdriver.ChromeOptions()

opt.set_headless()

driver = webdriver.Chrome(options=opt)

executor_url = driver.command_executor._url

session_id = driver.session_id

#将打开的浏览区url和session_id存储起来,提供给下一次应用

file = open('browserMsg.txt','w')

file.writelines([executor_url, '

',session_id])

file.close()

driver.implicitly_wait(20)

driver.set_window_size(1000, 800)

driver.get("https://index.baidu.com/v2/main/index.html#/trend/"+ word +"?words="+ word)

在上面的代码中我们使用webdriver的内置函数初始化了无头浏览器,你可能发现我使用了executor_url和session_id变量存储了点东西,没错,我将此次打开的浏览器信息(url和sessionId)存储在了一个txt文件中,这样下次我再使用百度指数的时候只需要使用python连接上这个被存储信息的无头浏览器进程,那么就可以节省掉重复登录所带来的风险了,并且还能节省进程数目(此处如果你不需要的话,无需关注)。

接下来我们隐式等待了20秒,并且将无头浏览器的窗口设置为了宽1000高800(你可以改变数值),最后我们打开了百度指数的网站,并且链接中带有我们想要查询的词。

三 进军

time.sleep(1)

driver.set_window_size(1200, 800)

time.sleep(1)

driver.set_window_size(1000, 800)

time.sleep(2)

上面代码的作用是先将无头浏览器窗口的宽变为1200,然后再变为1000,为了使得此处的操作更像人为操作,我加了一些延时效果,接下来就是输入密码的环节了。

getUserPhoneDom = driver.find_element_by_id('TANGRAM__PSP_4__userName')

getUserPassDom = driver.find_element_by_id('TANGRAM__PSP_4__password')

for i in phone:

getUserPhoneDom.send_keys(i)

time.sleep(.4)

for j in password:

getUserPassDom.send_keys(j)

time.sleep(.4)

在上面的代码中我先使用了getUserPhoneDom 变量存储了需要输入用户名的输入框信息,使用getUserPassDom 变量存储了需要输入密码的输入框信息,然后使用for循环读取我们在上面定义的phone和password变量的字符信息,并且每个字符输入间隔了400毫秒,这样做百度指数就认为你是人为的在输入了。

time.sleep(1)

action=ActionChains(driver)

loginDom = driver.find_element_by_id('TANGRAM__PSP_4__submit')

action.move_to_element(loginDom).click().perform()

当我们输入完成用户名和密码以后我们只需要找到登录按钮的DOM然后进行点击事件就OK了,到这里你就可以成功的绕开百度指数的人机验证了。

四 总结

绕开某一个网站的人机验证,重点在于让机器觉着你是人,而不是它的同类,但是机器觉着你是不是机器的重点在于设计这个机器的人所设置的一些检验手段。

对于百度指数来说它的主要检验手段在于你打开浏览器时的操作,以及输入用户名和密码时的操作,我写这篇文章的时间是2018年11月18日,在这个节点之前呢,我使用上面的方式绕开百度指数的人机验证没有问题,以后有没有问题,或者说有了问题如何解决还是要开发你的大脑了。

本文的最后我附上我全部的代码你可以复制下来,并且安装好对应的python包,以及无头浏览器的环境体验一下。

from selenium import webdriver

from selenium.webdriver.common.action_chains import ActionChains

import time

import sys

word = sys.argv[1]

phone = '18846927659'

password = 'chitianshi...'

#登录百度指数网站

def login(word, phone, password):

#打开chrome无头浏览器

opt = webdriver.ChromeOptions()

opt.set_headless()

driver = webdriver.Chrome(options=opt)

executor_url = driver.command_executor._url

session_id = driver.session_id

#将打开的浏览区url和session_id存储起来,提供给下一次应用

file = open('browserMsg.txt','w')

file.writelines([executor_url, '

',session_id])

file.close()

driver.implicitly_wait(20)

driver.set_window_size(1000, 800)

driver.get("https://index.baidu.com/v2/main/index.html#/trend/"+ word +"?words="+ word)

#当你打开无头浏览器时,你需要操作一下浏览器,可以移动浏览器位置,放大或缩小浏览器,否则网站会判定你是爬虫

#在此,我先等待了1秒,然后放大浏览器,然后缩小浏览器,然后等待2秒

time.sleep(1)

driver.set_window_size(1200, 800)

time.sleep(1)

driver.set_window_size(1000, 800)

time.sleep(2)

#等待2秒以后输入用户名和密码

#先获取用户名和密码的输入框

getUserPhoneDom = driver.find_element_by_id('TANGRAM__PSP_4__userName')

getUserPassDom = driver.find_element_by_id('TANGRAM__PSP_4__password')

#输入用户名和密码的时候不能够一下将用户名全部输入,否则网站会判定你是爬虫,就会让你输入短信验证码

#此处我按照字符输入,并且每个字符输入时,间隔400毫秒

for i in phone:

getUserPhoneDom.send_keys(i)

time.sleep(.4)

#密码的输入同用户名的输入是一个道理

for j in password:

getUserPassDom.send_keys(j)

time.sleep(.4)

#输入完用户名和密码以后间隔1秒再点击登录按钮

time.sleep(1)

#点击登录按钮

action=ActionChains(driver)

loginDom = driver.find_element_by_id('TANGRAM__PSP_4__submit')

action.move_to_element(loginDom).click().perform()

#网站在登录的时候会偶尔出现验证码,此处是为了判断是否出现验证码,如果出现就重新执行函数

time.sleep(2)

try:

errorData = driver.find_element_by_id('TANGRAM__PSP_4__error').text

if errorData == "请您输入验证码":

login(word, phone, password)

except:

pass

login(word, phone, password)

#此处是为了让打开的浏览器进行一直运行不关闭,以便于后面使用

root = Tk()

root.withdraw()

root.mainloop()

python 无头模式 绕过检测_python爬虫反反爬虫有绝技,轻松绕开百度人机验证!...相关推荐

  1. python 无头模式 绕过检测_Python chrome 无头模式的问题

    如题: 业务需要,需要音频通话,代码如下: ''' chrome_options = Options() # 无头模式启动 chrome_options.add_argument('--headles ...

  2. python 无头模式 绕过检测_网络爬虫之使用pyppeteer替代selenium完美绕过webdriver检测...

    1引言 曾经使用模拟浏览器操作(selenium + webdriver)来写爬虫,但是稍微有点反爬的网站都会对selenium和webdriver进行识别,网站只需要在前端js添加一下判断脚本,很容 ...

  3. python爬虫百度安全验证_爬虫黑科技-绕开百度人机验证

    是的你没有看错,我们要"搞"的对象就是百度指数这个网站,不知道你平时是否会应用到这里面的数据呢? 今天的主要目标就是使用无头浏览器登录百度指数网站,并且绕开它的人机验证,不知道你发 ...

  4. 复制url直接能跳过验证_爬虫黑科技-绕开百度人机验证

    是的你没有看错,我们要"搞"的对象就是百度指数这个网站,不知道你平时是否会应用到这里面的数据呢? 今天的主要目标就是使用无头浏览器登录百度指数网站,并且绕开它的人机验证,不知道你发 ...

  5. python 无头模式_Python + Selenium(二十五)无头模式 headless

    所谓浏览器的无头模式headless,就是浏览器在运行时处于后台操作的模式,不会看到浏览器打开,也就不会干扰你手头的工作.对于自动化测试和网络爬虫都有很大的价值. 早期我们使用 phantomJS 浏 ...

  6. python 无头模式_搭建谷歌浏览器无头模式抓取页面服务,laravel-php-python-docker !!!...

    背景: 公司管理系统需要获取企业微信页面的配置参数如企业名.logo.人数等信息并操作,来隐藏相关敏感信息并自定义简化企业号配置流程 第一版已经实现了扫码登录获取cookie,使用该cookie就能获 ...

  7. python 无头模式_selenium 无头模式获取日志performance出错

    网上看到的别人的代码,运行发现出错. 无头模式下会报invalid argument: log type 'performance' not found错误,但去掉--headless即有头模式下不出 ...

  8. python交互模式什么意思_python交互模式是什么

    命令行模式 在Windows开始菜单选择"命令提示符",就进入到命令行模式,它的提示符类似C:> Python交互模式 在命令行模式下敲命令python,就看到类似如下的一堆 ...

  9. python熊猫小课成果_python实战之原生爬虫(爬取熊猫主播排行榜)

    """ this is a module,多行注释 """ import re from urllib import request # B ...

最新文章

  1. apache不能能够解析php文件
  2. Python 生产者与消费者(一)
  3. win8中离线安装net framework 3.5
  4. 排序算法(还需补充)
  5. Windows Server Backup 备份活动目录
  6. 一篇文章带你详解 HTTP 协议之报文首部及字段详解(中)
  7. 劣势者效应下,B站等短视频平台UP主“卖惨”吸睛又吸金?
  8. 辽宁省2021年高考成绩位次查询,辽宁2021八省联考分数、位次表(非官方),附志愿填报样表...
  9. Serverless 工程实践 | 细数 Serverless 的配套服务
  10. Sybase identity 字段
  11. mysql中一些简单但是新手容易犯的错误
  12. 关于telnet: connect to address 190.168.6.6: No route to host 报错处理
  13. 远程键盘 App 被曝漏洞,成 Intel 弃子!
  14. 解决Eclipse,MyEclipse出现An error has occurred,See error log for more details的错误
  15. js面向对象--理解闭包
  16. C# Interface 的一点笔记。explicit Interface Implementation
  17. ios打包发布testflight
  18. 学习ARM开发(11)
  19. Ajax提交Form表单的两种简单方式
  20. 网店新规的误读与媒体的谎言

热门文章

  1. 制作生日贺卡html_有史以来最好的生日贺卡
  2. 如何用爬虫爬图,以百度图片为例
  3. 韩国食品医药品安全处:2017年韩国化妆品对中国大陆出口飙升23%
  4. linux 下chrome 73 自动打开flash 设置
  5. lol手游服务器什么时候维修好,拳头哭了!刚修好英雄联盟手游服务器,结果又被中国玩家挤爆了...
  6. 计算机服务器水冷系统设计,高温不宕机!解密IBM水冷技术发展史
  7. 思科商用路由器存在漏洞,无需认证即可拷贝敏感信息...
  8. 架构设计必备:时序图说明及画法
  9. mysql中下列关于创建_在 MySQL 中,下列关于创建数据库表的描述正确的是( )。_学小易找答案...
  10. 渣一本毕业,面试多家大厂(阿里、蘑菇街、腾讯、百度、网易),成功斩获网易Offer