python下载url链接_使用Python从url地址下载所有pdf文件

我需要找到一种方法来下载给定url中的所有pdf文件，然后我找到了一个脚本，该脚本可能——我还没有测试过——完成了这个任务：import urllib.parse

import urllib2

import os

import sys

from bs4 import BeautifulSoup

from urllib3 import request

url = "https://...."

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.3; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0"}

i = 0

request = urlib2.request(url, None, headers)

html = urllib2.urlopen(request)

soup = BeuatifulSoup(html.read())

for tag in soup.findAll("a" , href = True)

tag["href"] = urlparse.urljoin(url, tag["href"])

if os.path.splitext(os.path.basename(tag["href"]))[1] == ".pdf"

current = urllib2.urlopen(tag["href"])

print("\n[*] Downloading: %s" %(os.path.basename(tag["href"])))

f = open(download_path + "\\" + os.path.basename(tag["href"], "wb"))

f.write(current.read())

f.close()

i += 1

print("\n[*] Downloaded %d files" %(i + 1))

raw_input("[+] Press any key to exit ... ")

问题是我安装了python3.3，而这个脚本不能与python3.3一起运行。E、 urllib2不适用于python3.3。在

你能告诉我如何修改这个脚本使之与Python3.3兼容吗？在

我将非常感谢你的帮助。在

python下载url链接_使用Python从url地址下载所有pdf文件相关推荐

python 转短链接_使用Python生成url短链接的方法
#引入哈希库 import hashlib def get_md5(s): s = s.encode('utf8') if isinstance(s, unicode) else s m = hash ...
python爬虫基础知识点_入门Python爬虫知识点梳理
[小宅按]爬虫基本原理就是通过网络请求从远程服务器下载数据的过程,而这个网络请求背后的技术就是基于 HTTP 协议.作为入门爬虫来说,用户需要了解 HTTP协议的基本原理,虽然 HTTP 规范用一本书 ...
python数据整理高一_关于Python爬虫的最全知识梳理，项目经理花了三天总结出来的经验...
作爲零基础小白,大体上可分爲三个阶段去完成,第一阶段是入门,掌握必备基础知识,比如Python基础.网络央求的基本原理等,第二阶段是模仿,跟着别人的爬虫代码学,弄懂每一行代码,熟习主流的爬虫工具,第三 ...
用python将小册子打印扫描的A3幅面双页乱码的PDF文件转换A4幅面顺码的PDF文件
程序功能: 用python将小册子打印扫描的A3幅面双页乱码的PDF文件转换A4幅面顺码的PDF文件问题:A3幅面的双面打印的在中间用骑马钉装订成小册子, 拆开中间装订的订书钉由复印 ...
python连接opencv库_利用Python和OpenCV库将URL转换为OpenCV格式的方法
今天的博客是直接来源于我自己的个人工具函数库. 过去几个月,有些PyImageSearch读者电邮问我:"如何获取URL指向的图片并将其转换成OpenCV格式(不用将其写入磁盘再读回)&qu ...
python编程免费小说_使用Python开发小说下载器，不再为下载小说而发愁
有点荒废这几天有点荒废,之前弃坑的网文<伏天氏>,这几天又给捡起来了.然后一发不可收拾的只想看小说,荒废了我的学习.在这里我要检讨啊..... 像我这样的穷人,看小说肯定是找免费的网站, ...
python模拟百度搜索点击链接_用 Python 获取百度搜索结果链接
前言近期有许多项目需要这个功能,由于Python实现起来比较简单就这么做了,代码贴下来觉得好点个赞吧~ 代码 # coding: utf-8 import os import time import ...
python 过滤相似图片_求教 python 网站爬虫过滤出图片 url 的问题
下面代码是在图片网站上截取的,想问下用 Python 爬虫,怎样才能过滤出 images 下面不同 size 的图片 url 呢? "images": [{ "size& ...
python 动态编译代码_编译Python代码以使用Cython静态链接可执行文...
经验丰富的问题??显然来自链接器(gcc在引擎盖下启动了一个链接器,看到它 – 只需用详细模式启动带有-v的gcc).那么让我们先简要提醒链接过程如何工作: 链接器保留其需要解析的所有符号的名称.在开 ...

python下载url链接_使用Python从url地址下载所有pdf文件

python下载url链接_使用Python从url地址下载所有pdf文件相关推荐

最新文章

热门文章