python request下载-Python使用requests下载文件问题
最近在爬一个网站,想直接下载其中的torrent文件,发现该torrent文件在下载页面是点击下载按钮,提交一个form表单到后台,然后开始下载,使用python requests提交表单,但是下载下来的文件是论坛的首页,不知道哪里出错了,有大佬帮看看吗?以下是代码,老司机懂的.
def down_torrent(link):
headers = {
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8"
"Accept-Encoding": "gzip, deflate"
"Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8"
"Cache-Control": "max-age=0"
"Connection": "keep-alive"
"Host": "www3.uptorrentfilespacedownhostabc.info"
"Upgrade-Insecure-Requests": "1"
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.360"
}
torrent_html = requests.get(link)
torrent_html.encoding == "utf-8"
soup = BeautifulSoup(torrent_html.text, "lxml")
input_list = soup.find_all("input")
down_parms = {} #POST提交的参数
for i in input_list:
if i.get("name"):
down_parms[i.get("name")] = i.get("value")
#POST地址
post_link = link.split("file.php")[0] + "down.php"
#下载文件保存位置
down_dir = os.path.join(current_path, down_parms["name"])
if not os.path.exists(down_dir):
os.mkdir(down_dir)
down_path = os.path.join(down_dir, down_parms["name"])
down_path = down_path + ".torrent"
s = requests.Session()
torrent_html = s.post(post_link, headers=headers, data=down_parms)
with open(down_path, "wb") as f:
for chunk in torrent_html.iter_content(10):
f.write(chunk)
if __name__ == "__main__":
down_torrent("http://www3.uptorrentfilespacedownhostabc.info/updowm/file.php/P22OGZq.html")
python request下载-Python使用requests下载文件问题相关推荐
- python request file upload_Python基于requests实现模拟上传文件
方法1: 1.安装requests_toolbelt依赖库#代码实现 def upload(self): login_token = self.token.loadTokenList() for to ...
- python request 库传送formdata_Python Requests库 form-data 上传文件操作
请求数据示例: ------WebKitFormBoundaryKLoWgrA4O40MayHM Content-Disposition: form-data; name="id" ...
- requests下载大文件_11种方法教你用Python高效下载资源!
在本教程中,你将学习如何使用不同的Python模块从web下载文件.此外,你将下载常规文件.web页面.Amazon S3和其他资源. 最后,你将学习如何克服可能遇到的各种挑战,例如下载重定向的文件. ...
- python requests下载文件很慢-python requests 下载大文件不完整
目前我有一个脚本, 从帝联的 CDN 外链获取一下文件作为备份. 使用的是 Python 2.7.10 requests 2.8.1 目前碰到一个情况, 使用 requests 下载大文件的时候会出现 ...
- python下载大文件-python requests 下载大文件不完整
目前我有一个脚本, 从帝联的 CDN 外链获取一下文件作为备份. 使用的是 Python 2.7.10 requests 2.8.1 目前碰到一个情况, 使用 requests 下载大文件的时候会出现 ...
- python文件下载不全_python requests 下载大文件不完整
目前我有一个脚本, 从帝联的 CDN 外链获取一下文件作为备份. 使用的是 Python 2.7.10 requests 2.8.1 目前碰到一个情况, 使用 requests 下载大文件的时候会出现 ...
- Python requests 下载文件
0x00 前言 记录一下Python requests 下载文件的相关内容,每次都是搜别人的不如自己做一做笔记. 0x01 可调用方法 先存一个比较简单地,等以后有用到的话,再进行扩充 def dow ...
- python requests下载网页_python爬虫 requests-html的使用
一 介绍 Python上有一个非常著名的HTTP库--requests,相信大家都听说过,用过的人都说非常爽!现在requests库的作者又发布了一个新库,叫做requests-html,看名字也能猜 ...
- Python爬虫:AGE动漫下载之 requests 版
日常跳转: 导入: 分析与代码解释: 打印搜索到的信息 BeautifelSoup4 库使用提醒 小优化 链接解析: 获取视频链接 小优化: 提示: 视频下载: 求大佬赐教 实例源码及结果 结果及下载 ...
- python语言的官方网站地址-Python网络编程 - 请求地址上的文件并下载
我们用到了requests库,由于是第三方的,必须下载 如果是python 2.x用下面命令 pip install requests python 3.x用下面命令 easy_install req ...
最新文章
- Scrapy框架的学习(5.scarpy实现翻页爬虫,以及scrapy.Request的相关参数介绍)
- 针对Linux ASP.NET MVC网站中 httpHandlers配置无效的解决方案
- android 按钮 菜单,(期末要考啊)Android的menu(菜单)按钮的使用
- 数学题 HDOJ——2086 简单归纳
- 包含天,时,分,秒的倒计时
- 搭建大数据开发环境-Hadoop篇
- 【李宏毅机器学习】backpropagation 反向传播(p13) 学习笔记
- python语言如何软件搬家_python写程序-就像搬家把物品分类放在箱子里
- Python 中非常狗的一个坑(在 `a={1:2},`后面多了一个逗号,自动被判为 tuple 类型了)
- 人工智能语音电视能“听话”吗?
- Mac版IntelliJ IDEA上手的一些必要设置
- 将本地无损音乐上传到Apple Music中使用。
- 计算机网络-自顶向下方法笔记-滑动窗口协议
- c15语言中不支持十六进制的数据,从十六进制字符串中提取数据
- cpm,cpc,cps和cpa分别是什么意思
- 微信朋友圈马赛克图片 —— 抓包破解
- 使用ubuntu遇到的问题-An error occurred,please run Package Manager...
- PLA 3D打印件脆弱怎么办?
- 程序员的五层境界,你在哪一层?最后一层的,都是人生赢家
- 每个程序员都应该读的数学书
热门文章
- idea 怎么快速创建类的快捷键_「快捷键设置」[IDEA]常用快捷键和个人设置 - seo实验室...
- 【开机自启】属于你的个性化!八步完成喜欢的软件开机自启!
- 回馈粉丝,包邮送一台全新iPad
- Java如何实现二维码?【附源码】
- 你知道 Redis 可以实现延迟队列吗?
- 面试必会:HashMap 实现原理解读
- 坚持,这两个字非常重要!
- Android踩坑日记:FloatingActionButton的设置大小问题
- JAVAWEB项目--模拟考试系统数据库设计与实现(二)
- python类和对象介绍_python中的类,对象,方法,属性等介绍