python html_在python中下载html？

我试图在您单击浏览器中的链接时下载通过

javascript操作请求的页面的html.我可以下载第一页,因为它有一个通用的URL：

http://www.locationary.com/stats/hotzone.jsp?hz=1

但是页面底部有一些链接是数字(1到10).因此,如果您点击一个,它会转到,例如,第2页：

http://www.locationary.com/stats/hotzone.jsp?ACTION_TOKEN=hotzone_jsp$JspView$NumericAction&inPageNumber=2

当我将该URL放入我的程序并尝试下载html时,它会在网站上显示不同页面的html,我认为它是主页.

如何获取使用javascript的此URL的html以及何时没有特定的URL？

谢谢.

码：

import urllib

import urllib2

import cookielib

import re

URL = ''

def load(url):

data = urllib.urlencode({"inUserName":"email", "inUserPass":"password"})

jar = cookielib.FileCookieJar("cookies")

opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(jar))

opener.addheaders.append(('User-agent', 'Mozilla/5.0 (Windows NT 6.1; rv:13.0) Gecko/20100101 Firefox/13.0.1'))

opener.addheaders.append(('Referer', 'http://www.locationary.com/'))

opener.addheaders.append(('Cookie','site_version=REGULAR'))

request = urllib2.Request("https://www.locationary.com/index.jsp?ACTION_TOKEN=tile_loginBar_jsp$JspView$LoginAction", data)

response = opener.open(request)

page = opener.open("https://www.locationary.com/index.jsp?ACTION_TOKEN=tile_loginBar_jsp$JspView$LoginAction").read()

h = response.info().headers

jsid = re.findall(r'Set-Cookie: (.*);', str(h[5]))

data = urllib.urlencode({"inUserName":"email", "inUserPass":"password"})

jar = cookielib.FileCookieJar("cookies")

opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(jar))

opener.addheaders.append(('User-agent', 'Mozilla/5.0 (Windows NT 6.1; rv:13.0) Gecko/20100101 Firefox/13.0.1'))

opener.addheaders.append(('Referer', 'http://www.locationary.com/'))

opener.addheaders.append(('Cookie','site_version=REGULAR; ' + str(jsid[0])))

request = urllib2.Request("https://www.locationary.com/index.jsp?ACTION_TOKEN=tile_loginBar_jsp$JspView$LoginAction", data)

response = opener.open(request)

page = opener.open(url).read()

print page

load(URL)

python html_在python中下载html？相关推荐

ubuntu18.04.4 中下载 github 代码并创建 python 虚拟环境virtualenv
文章目录 ubuntu18.04.4 中下载 github 代码并创建 python 虚拟环境virtualenv 1 安装virtualenv和virtualenvwrapper 2 githu ...
python下载大文件-使用请求在python中下载大文件
请求是一个非常好的库.我想用它下载大文件(>1GB).问题是不可能将整个文件保存在内存中,我需要将其分块读取.以下代码有问题 1 2 3 4 5 6 7 8 9 10 11import requ ...
使用请求在python中下载大文件
本文翻译自:Download large file in python with requests Requests is a really nice library. 请求是一个非常不错的库. I' ...
python 编写一段自动下载微信群的聊天记录中的图片并保存到本地的代码
以下是一段简单的 Python 代码,可以自动下载微信群聊天记录中的图片并保存到本地: import requestsdef download_image(url, file_name):respon ...
使用Python从邮件中下载附件和提取元数据
在本篇博客中,我们将解析一段Python代码,该代码可以从电子邮件中下载附件并提取发送人.主题和日期等元数据. 这段代码包含两个函数:download_file 和 get_email_title.其 ...
python官方文档中文下载-python中文官方文档 PDF 下载
Python 2 教程 Python是一门简单易学,功能强大的编程语言.它具有高效的高级数据结构和简单而有效的面向对象编程方法.Python优雅的语法和动态类型以及其解释性的性质,使它在许多领域和 ...
python在abaqus中的应用代码下载_Python-(source-code)-in--Abaqus Python语言在Abaqus中的应用(源码） - 下载 - 搜珍网...
Python语言在Abaqus中的应用 (源码)/ Python语言在Abaqus中的应用 (源码)/Python语言在Abaqus中的应用 (源码)/ Python语言在Abaqus中的应用 (源码 ...
利用python和boto3包从amazon s3 bucket中下载数据
前言本文主要介绍利用python从amazon s3 bucket下载数据集步骤前提在下载数据集之前,你得知道该数据的bucket,这个单词的意思是桶,水桶也是这个词,也就是说得知道你要得数据 ...
python wget_python-如何获取wget下载的文件的文件名
我正在使用os.system('wget'链接)从网站检索文件.下载后,我想根据源链接进一步处理这些文件. 大多数链接都是这种形式 htttp://example.com/-/filename.zip ...

python html_在python中下载html？

python html_在python中下载html？相关推荐

最新文章

热门文章