python填表_小Python填表得到d
我正在尝试使用Scrapy从网站自动下载数据。在
我要做的是:使用我的凭据登录网站
通过在“RIC”行中写入代码并选择感兴趣的时段来选择我想要的数据
单击“获取数据”后,将生成.csv文件,我可以从“下载/”url下载该文件,其中我的所有文件如下所示:
我可以使用“FormRequest”登录。因此,我想做同样的事情来填充“RIC”代码并单击“Get data”按钮,但这失败了。(我现在改变日期不是为了了解它的工作原理)
这里是我的代码:class DmozSpider(scrapy.Spider):
name = "dmoz"
allowed_domains = ["myDomain"]
start_urls = [
"http://myDomain/dataServices/"
]
def parse(self, response):
return scrapy.FormRequest.from_response(
response,
formdata={'username': 'myName', 'password': 'myPass'},
callback=self.after_login
)
def after_login(self, response):
# check login succeed before going on
if "Your email adress and password did not match" in response.body:
print("\n\nFAIL\n\n")
self.logger.error("Login failed")
return
else:
print("\n\n LOGIN SUCCESSFUL \n\n")
filename = response.url.split("/")[-2] + '.html'
with open(filename, 'wb') as f:
f.write(response.body)
## THIS FAILS !!!
return scrapy.http.FormRequest.from_response(
response,
formxpath='//input[@value = ""]',
formdata={'value': 'DJ@'},
clickdata={'value': 'Get data'},
callback= self.foo
)
这是表单的html:
^{pr2}$
我从日志中得到的错误:2015-10-20 18:49:53 [scrapy] DEBUG: Retrying (failed 1 times): 500 Internal Server Error
2015-10-20 18:49:53 [scrapy] DEBUG: Retrying (failed 2 times): 500 Internal Server Error
2015-10-20 18:49:53 [scrapy] DEBUG: Gave up retrying (failed 3 times): 500 Internal Server Error
2015-10-20 18:49:53 [scrapy] DEBUG: Crawled (500) (referer: http://myDomain/dataServices/)
2015-10-20 18:49:53 [scrapy] DEBUG: Ignoring response <500 http://myDomain/dataServices/>: HTTP status code is not handled or not allowed
你知道我做错了什么吗?在
python填表_小Python填表得到d相关推荐
- 第一章 第一节:Python基础_认识Python
Python基础入门(全套保姆级教程) 第一章 第一节:Python基础_认识Python 1. 什么是编程 通俗易懂,编程就是用代码编写程序,编写程序有很多种办法,像c语言,javaPython语言 ...
- python拼图_利用python制作拼图小游戏的全过程
开发工具 Python版本:3.6.4 相关模块: pygame模块: 以及一些Python自带的模块 关注公众号:Python学习指南,回复"拼图"即可获取源码 环境搭建 安装P ...
- 小猿圈python视频_小猿圈分享学习Python的最佳方式
原标题:小猿圈分享学习Python的最佳方式 python现在是世界上功能最多的编程语言之一,可以是用Python编辑应用程序,游戏.算法程序.还可以编程一个机器人,学习Python可以担任软件工程师 ...
- 跳一跳python开挂_用Python玩跳一跳小游戏,我能开挂
原标题:用Python玩跳一跳小游戏,我能开挂 对很多人来说,可能是已经过时的游戏,对于Python刚入门来说,却是一个非常值得学习的项目. 我们收集了很多有关python入门的项目案例,包含了相应的 ...
- 【100天精通python】Day1:python入门_初识python,搭建python环境,运行第一个python小程序
目录 专栏导读 1 初始python python 概述 python的应用领域 应用python的公司 2 搭建python 开发环境 2.1 安装python(以windows 系统为例)(1)下 ...
- java python算法_用Python,Java和C ++示例解释的排序算法
java python算法 什么是排序算法? (What is a Sorting Algorithm?) Sorting algorithms are a set of instructions t ...
- 动态照片墙 python 实现_利用python生成照片墙的示例代码
这篇文章主要介绍了利用python生成照片墙的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧 PIL(Python Im ...
- 类的继承python事例_【Python五篇慢慢弹(5)】类的继承案例解析,python相关知识延伸...
作者:白宁超 2016年10月10日22:36:57 摘要:继一文之后,笔者又将python官方文档认真学习下.官方给出的pythondoc入门资料包含了基本要点.本文是对文档常用核心要点进行梳理,简 ...
- python计算机_基础python计算机知识
1.计算机基础知识 计算机基础 :组成---输入输出设备 储存器 CPU 内存 cpu 中央处理器 :处理各种数据的 内存 存储数据 硬盘 存储数据的 什么是操作系统:控制计算机的工作流程 软件 什么 ...
最新文章
- php钩子原理和实现
- 前端学习(2749):uniapp项目目录结构介绍
- websocket 连接本地端口_Web应用架构WebSocket 协议介绍
- Python机器学习:决策树003使用信息熵寻找最优划分
- 厉害了!厦门大学“嘉庚一号”火箭成功发射 问鼎九天
- 构建直接路由模式(DR)的LVS
- linux ftp指定下载文件名称,linux中通过FTP下载指定的文件方法linux网页制作 -电脑资料...
- 周鸿祎的“流氓”可否借鉴?
- IIS管理器无法打开。启动后,在任务栏中有,但是窗口不见了
- 使用okhttp下载文件 、传统方式下载文件,简介okhttp使用(Java)
- 逻辑斯谛回归模型处理Kaggle泰坦尼克号之灾
- 用GitHub Actions自动部署Hexo
- Ubuntu16(ROS_Kinetic)海康威视网络摄像机(单目)内参标定
- SDN的两种方式分析
- 基于Python的自制画板小工具
- 等势线matlab仿真
- Web流量检测与绕过(基于Snort规则)
- 【Kafka-分区增加副本】Kafka分区增加副本
- 自己竟做出来了《黄金矿工》
- 《LabVIEW数据采集》视频教程第8集:程序框图的节点
热门文章
- c++中union的使用,看高手们如何解释的
- 蓝桥杯 2011年第二届C语言初赛试题(5)
- 球球大作战测试服android版,球球大作战10.0体验服
- MFC状态栏编程(显示系统时间和进度条)
- elementUI vxe-table结合使用(通用表格)
- Windows下安装并使用MySQL数据库
- php双引号解析漏洞
- 百年理工计算机专业课程,这两所国内的百年理工院校,实力强劲,都是国内顶尖实力...
- uni-app微信获取手机号,第一次解密总是失败
- JSP 插入到数据库的数据出现 “SQLServerException: 将截断字符串或二进制数据” 错误解决方案