python 裁判文书网_python - 用selenium模拟登陆裁判文书网,系统报错找不到元素。...
问 题
from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
dcap = dict(DesiredCapabilities.PHANTOMJS)
dcap["phantomjs.page.settings.userAgent"]=("Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36")
url ="http://wenshu.court.gov.cn/User/RegisterAndLogin?Operate=1"
driver = webdriver.PhantomJS(executable_path='C:\\Users\\wang\\Downloads\\phantomjs-2.1.1-windows\\phantomjs-2.1.1-windows\\bin\\phantomjs.exe')
driver.get(url)
import time
time.sleep(30)
driver.find_element_by_xpath('//*[@id="login_Name"]').send_keys("398915607@qq.com")
driver.find_element_by_xpath('//*[@id="login_Pwd_Temp"]').send_keys("wstktb")
driver.find_element_by_xpath('//*[@id="btnLogin"]').click()
driver.quit()
chrome上观察源码明明都有的,这个网站看来看去也没有frame的标签,打印page_source也只有几行js代码。,小弟最近刚开始学习爬虫,实在是十分困惑啊,恳请各位求教。
解决方案
我测试了一下,第一次打开这个页面的时候,如果你没有他需要的cookie,那么你进入的就是那个全是js的页面,HTTP状态码202,此时该域名下会生成一个cookie(我不确定怎么来的)。
然后浏览器会自动刷新,js会在请求中加入一段cookie(该cookie不保存在浏览器,且每次都不一样),服务端返回正常的页面,HTTP状态码200。
题主可以用chrome的view-source来测试。
所以你说的source只有几行代码那就是第一次打开的情况,我对selenium不是很了解,不过应该是因为没有自动跳转的问题,具体原因可能是 你的配置、js中有判断。
扫一扫关注IT屋
微信公众号搜索 “ IT屋 ” ,选择关注与百万开发者在一起
python 裁判文书网_python - 用selenium模拟登陆裁判文书网,系统报错找不到元素。...相关推荐
- python获取登录按钮_Python:Selenium模拟Chrome浏览器抓取淘宝商品信息
对于采用异步加载技术的网页,有时候想通过逆向工程的方式来设计爬虫进行爬取会比较困难,因此,要想通过python获取异步加载数据往往可以使用Selenium模拟浏览器的方式来获取. Selenium是一 ...
- selenium 模拟登陆 古诗文网 含验证码
ocr.py / 阿里云市场 import base64 import json import urllib.request from urllib import parse import ssl s ...
- python爬虫怎么登录_Python爬虫基础-模拟登陆
为什么我们要让爬虫模拟登陆呢?有些内容只有登陆才能进行爬取,如知乎,不登录的主页只能看到注册和登陆 : 你想爬取自己的个人信息 有什么方法呢?cookie 在互联网发展的早期,由于大家的服务器都不是太 ...
- python自动化滑动解锁_Python中Selenium模拟JQuery滑动解锁实例
滑动解锁一直做UI自动化的难点之一,我补一篇滑动解锁的例子,希望能给初做Web UI自动化测试的同学一些思路. 首先先看个例子. 当我手动点击滑块时,改变的只是样式: 1.slide-to-unloc ...
- selenium模拟登陆去哪儿网
序言 在模拟网页的表单登陆的时候,比较头疼的一个问题就是图片验证码的情况,碰到了验证码,比如像普通的文字图片类型的验证码,目前一个比较好的思路就是,通过selenium自身提供的截图功能,对指定的图片 ...
- python decimal类型转化_python的json模块,针对decimal类型直接dumps报错
主要涉及的代码 def _iterencode(o, _current_indent_level): if isinstance(o, basestring): yield _encoder(o) e ...
- selenium模拟登陆某宝商家店铺千牛后台--小林月
目录 一.登陆账号 二.发现出现模块(暴力解决) 三.发现最大的问题:(iframe网页页面) 四.寻找规律提取ID,标题,创建时间和商品状态 五.利用字典和datafram存贮数据导出到exel 六 ...
- Python小姿势 - # Python网络爬虫之如何通过selenium模拟浏览器登录微博
Python网络爬虫之如何通过selenium模拟浏览器登录微博 微博登录接口很混乱,需要我们通过selenium来模拟浏览器登录. 首先我们需要安装selenium,通过pip安装: ``` pip ...
- 爬取知乎壁纸:selenium模拟登陆获取cookies,再将cookies传递给requests
selenium很好用,但是爬取大量数据时速度较慢. 通过selenium模拟登陆,获取cookies,再将cookies传递给requests,通过requests爬取加快速度. 以为知乎网爬取壁纸 ...
最新文章
- [转]在C#中使用API回调函数的方法
- python篮球-用Python让蔡徐坤在我的命令行里打篮球!|附完整代码
- Web API 安全问题
- 大数据学习路线copy自淘宝
- 运行单个源文件_使用一个命令执行单个Java源文件
- 【CodeForces - 312C】The Closest Pair (思维)
- hdu 2873 Bomb Game 博弈论
- 如何在Android中获取当前时间和日期
- 推荐一个好看且实用的火狐浏览器新标签页插件【火狐浏览器新标签页自定义美化】
- 易语言新手入门教程第十四课 - QQ自动登录器第二部分
- 基于Python的人脸识别(68个识别点)和焦点人物检测
- 大厂对学历的要求是什么?如果学历不够,拿什么来凑?
- statis代码块以及非static代码块之执行
- linux桌面版和服务器版区别_简单普及一些linux和windows的区别,减少新入手一些云服务时的不适应...
- 51 nod 1010
- 百度文库怎么操作才能提高成功率方法解析
- Labelmx条码软件如何制作试卷答题卡条码标签
- Astyle使用方法
- netty报错:io.netty.channel.ChannelPipelineException
- rosbag中--clock的使用