我在代码中完全实现了请求,但在FormRequest中意识到VIEWSTATE和EVENTVALIDATION是动态的,它们随每个请求而变化。我想做的是刮去它们以便在下一个请求中提供它们。在

这两个字段都在HTML代码中提供,但隐藏了<the __VIEWSTATE>。我试着使用硒,但没有任何有用的结果。在start_urls = [

'http://www.gasunietransportservices.nl/en/dataport-pages/lng-terminals/nominations',

'http://dataport.gastransportservices.nl/default.aspx?ReportPath=%2fTransparency%2fNominationsPerNetworkpoint&ReportTitle=NominationsPerNetworkpoint&TransparencySegment=06',

]

def start_requests(self):

yield Request(

url=self.start_urls[0],

callback=self.parse

)

def parse(self, response):

sel = Selector(response)

#import ipdb; ipdb.set_trace()

view_state = sel.xpath('//input[@id="__VIEWSTATE"]/@value').extract()

event_validation = sel.xpath('//input[@id="__EVENTVALIDATION"]/@value').extract()

formdata = {

'scriptManager': 'scriptManager|ReportViewerControl$ctl09$Reserved_AsyncLoadTarget',

'__EVENTTARGET': 'ReportViewerControl$ctl09$Reserved_AsyncLoadTarget',

'__EVENTARGUMENT': '',

'__VIEWSTATE': '{}'.format(view_state[0]),

'__VIEWSTATEGENERATOR': 'CA0B0334',

'__EVENTVALIDATION': '{}'.format(event_validation[0]),

'ReportViewerControl$ctl03$ctl00': '',

'ReportViewerControl$ctl03$ctl01': '',

'ReportViewerControl$ctl10': 'ltr',

'ReportViewerControl$ctl11': 'standards',

'ReportViewerControl$AsyncWait$HiddenCancelField': 'False',

'ReportViewerControl$ctl04$ctl03$txtValue': 'LNG Terminals',

'ReportViewerControl$ctl04$ctl05$txtValue': 'ROTTERDAM (GATE) - 301345',

'ReportViewerControl$ctl04$ctl07$txtValue': '5-10-2015 0:00:00',

'ReportViewerControl$ctl04$ctl09$ddValue': '1',

'ReportViewerControl$ctl04$ctl11$txtValue': '6-10-2015 0:00:00',

'ReportViewerControl$ctl04$ctl13$ddValue': '1',

'ReportViewerControl$ctl04$ctl15$ddValue': '1',

'ReportViewerControl$ctl04$ctl17$ddValue': '1',

'ReportViewerControl$ctl04$ctl05$divDropDown$ctl01': 'on',

'ReportViewerControl$ToggleParam$store': '',

'ReportViewerControl$ToggleParam$collapse': 'false',

'ReportViewerControl$ctl05$ctl00$CurrentPage': '',

'ReportViewerControl$ctl08$ClientClickedId': '',

'ReportViewerControl$ctl07$store': '',

'ReportViewerControl$ctl07$collapse': 'false',

'ReportViewerControl$ctl09$VisibilityState$ctl00': 'None',

'ReportViewerControl$ctl09$ScrollPosition': '',

'ReportViewerControl$ctl09$ReportControl$ctl02': '',

'ReportViewerControl$ctl09$ReportControl$ctl03': '',

'ReportViewerControl$ctl09$ReportControl$ctl04': '100',

'__ASYNCPOST': 'true',

}

yield FormRequest(

url=self.start_urls[1],

formdata=formdata,

callback=self.parse_filter,

)

def parse_filter(self, response):

import ipdb; ipdb.set_trace()

html字段隐藏,如何刮取动态隐藏的HTML字段(UuViewState)值?相关推荐

  1. easyPoi 注解导出 动态隐藏列

    easyPoi 注解导出 动态隐藏列 1.先写个poi工具类 /*** 动态显示Excel导出列* @param <T>*/ public class EasyPoiUtil<T&g ...

  2. easyui datagrid 表格动态隐藏部分列的展示

    1.一套代码中,可能不同的项目情况都在用,但是可能不同的项目要求展示的datagrid列的内容并不一致,所以能够动态的显示部分datagrid列的内容. 即datagrid的中的某一列,这个项目要求显 ...

  3. 小程序动态隐藏分享按钮

    业务背景:小程序需要根据条件动态隐藏分享给好友.分享到朋友圈功能 原生小程序中加上分享函数,页面就可分享,如下: onShareAppMessage: function (res) {if (res. ...

  4. EasyUI的datagrid分页,动态隐藏或显示列

    EasyUI的datagrid分页,动态隐藏或显示列 业务需要,根据不用的查询条件,显示不同的列名 1 $("#chnMode").change(function(){ 2 if( ...

  5. element table v-for动态隐藏列

    element table v-for动态隐藏列 这个动态列是我项目中觉得比较好玩的一个功能,他列表不固定,后端数据库表也不固定,其实还有个高级筛选,这两个是配套使用的, <el-tablere ...

  6. [RK3568 Android11] 开发之系统动态隐藏导航栏(二)

    目录 前言 一.动态隐藏和显示功能 二.功能演示 前言 上一篇已讲解怎么在 设置->显示 中添加导航栏按钮,并且实现了按钮功能和广播功能:接下来讲解怎么实现动态的隐藏和显示导航栏功能: 一.动态 ...

  7. html字段隐藏,HTML5+CSS3实现超酷登录窗口(自动隐藏默认文本及判断必填字段)

    内容介绍热点排行相关文章下载地址↓ 效果非常不错的登录窗口,输入框获取焦点后会自动隐藏默认文本,如果为空会提示必填字段 ,经测试,效果相当不错,感兴趣的朋友可以参考下哈 在网页head区添加以下代码 ...

  8. uniapp自定义tabbar(支持中间凸起,角标,动态隐藏tab,全端适用)

    uniapp自定义tabbar(支持中间凸起,角标,全端适用) 背景 思路 实现 尾巴 背景 在使用uniapp进行开发时,tabbar是我们使用的很频繁的一个组件,但是在特定的平台会有一些使用上的限 ...

  9. java动态字段排序_JAVA 列表动态增加字段显示和任意字段排序

    需求是用户可以在页面管理展示的字段,并且对字段的展示顺序自定义排序,控制所有字段显示隐藏,表中有默认基础字段是不可以删除的 这边全部都是后端实现: 思路: 数据表设定一个字段专门存放动态字段,字段内容 ...

最新文章

  1. java.lang.NullPointerException异常原因及解决
  2. 2022-2028年中国塑料网格板行业市场行情动态及发展趋向分析报告
  3. Google Map API 学习六-设置infoWindow的长宽
  4. STM32单片机,禁止系统启动时的变量初始化
  5. 确定不收藏?机器学习必备的分类损失函数速查手册
  6. css 缩放_【开发小技巧】06—如何使用CSS在鼠标悬停时缩放图像?
  7. hutol json null值没了_JSON数据处理框架Jackson精解第一篇-序列化与反序列化核心用法...
  8. javafx 调用java_Java,JavaFX的流畅设计风格滑块
  9. GIS实战应用案例100篇(十五)-CASS插件应用:如何控制点属性与点名统一
  10. 电脑卡顿不流畅是什么原因_什么造成游戏直播画画卡顿、延迟?这三个原因了解一下...
  11. 雷林鹏分享:CSS Id 和 Class
  12. PS制作棱镜化多边形照片效果
  13. 【C++入门】C++ 运算符的重载
  14. 邢山虎:指责加班是特定时期的悖论,历史将予以澄清
  15. 小米商城静态页面制做
  16. 英语语法新思维 总结 问答对形式
  17. C++的异常(转载 )
  18. 习题8-14 商队抢劫者(Caravan Robbers, ACM/ICPC SEERC 2005, UVa1616)
  19. 【心灵鸡汤】浪子助你提高解决问题能力
  20. Vmware安装迷你版的 Centos6 并配置 Nat 模式可访问外网

热门文章

  1. c++心形代码_c语言心形告白代码实现
  2. 2017安徽二级c语言,2017计算机二级C语言测试题及答案
  3. java 新窗口跳转页面_Java web开发中页面跳转小技巧——跳转后新页面在新窗口打开...
  4. C# 派生类的构造函数
  5. python书写风格_以下两种风格 Python 写法,请问大家倾向哪种:)
  6. spring security:第一个程序
  7. mysql导出表_mysql导出表的3种方式
  8. nano-pc-t1 4412 显示驱动分析
  9. C++ 11右值引用
  10. x-lite asterisk 成功实现视频通话