python3.0下载用什么浏览器_无法让Python下载网页源代码：“不支持浏览器版本”...

查看您列出的url，我执行了以下操作：使用wget下载了页面

将urllib与ipython一起使用并下载了页面

使用chrome，只保存了url

所有3个都给了我相同的结果文件(相同的大小，相同的内容)。在

这可能是因为我没有登录，但我确实看到这个网站包含了大量的javascript来呈现页面。在

我知道您正在尝试使用urllib，但是考虑到上述情况，我将使用selenium并将详细介绍如何开始使用它。这个例子需要selenium和phantomjs，但是对于selenium和firefox也可以这样做。在from selenium import webdriver

from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

browser_agent = "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36"

url = 'https://scrap.tf/stranges/47'

dcap = {}

mydriver = None

dcap = dict(DesiredCapabilities.PHANTOMJS)

dcap["phantomjs.page.settings.userAgent"] = browser_agent

mydriver = webdriver.PhantomJS(desired_capabilities=dcap)

mydriver.implicitly_wait(30)

mydriver.set_window_size(1366,768)

mydriver.get(url)

title = mydriver.title

print (title)

page = mydriver.page_source

# debugging get screen shot to see how we look

mydriver.get_screenshot_as_file('/data/screen/test.png')

这会下载页面，并且所有javascript都会正确呈现，但是您需要登录到steam，这需要一些交互。在

您可以通过检查Chrome或Firefox中的页面，找到css选择器或xpath，并使用webdriver find_element函数来确定需要做什么。在

这也允许按键和单击。在

python3.0下载用什么浏览器_无法让Python下载网页源代码：“不支持浏览器版本”...相关推荐

python电脑下载教程_苹果电脑python下载安装教程
这个问题我遇到过的,你把现在装的python卸了,装个32位的python就可以了,32位安装包官网上有. . 工具/原料:python.win7电脑一台方法/步骤:1.打开win7电脑,从百度搜索p ...
java 伪装浏览器_[Java教程]伪装虽易测试不易之微信浏览器
[Java教程]伪装虽易测试不易之微信浏览器 0 2014-04-03 20:00:38 前言众所周知,微信项目html5界面的开发时间会相对较长(为什么这么说就不解释了),以及在微信浏览器 ...
用python做一张图片_如何用python下载一张图片
如何用python下载一张图片这里要用到的主要工具是requests这个工具,需要先安装这个库才能使用,该库衍生自urllib这个库,但是要比它更好用.多数人在做爬虫的时候选择它,是个不错的选择. ...
python脚本视频_分享一个Python下载视频脚本
分享一个Python下载视频脚本(通过flvcd.com代理的) 代码如下: #!/usr/local/bin/python #test for command line parameter(s) # ...
python怎么下载图片怎么保存到本地_详解Python下载图片并保存本地的两种方式
一:使用Python中的urllib类中的urlretrieve()函数,直接从网上下载资源到本地,具体代码: import os,stat import urllib.request img_url ...
python 模拟浏览器selenium_从零开始写Python爬虫 --- 3.1 Selenium模拟浏览器
本来说好要写Mechanize模拟浏览器的,结果一看居然只支持2.x版本的Python,而且已经长久没有更新维护了,本着学新不学旧的原则,我决定跳过他,直接开学Selenium(其实就是我懒,逃 Se ...
qq打开网页时提示用浏览器打开html,微信QQ打开网页时提示用浏览器打开
微信QQ打开网页时提示用浏览器打开一,需求分析 1.1,使用微信或QQ打开网址时,无法在微信或QQ内打开常用下载软件,手机APP等.故此需要在微信qq里提示二,功能实现 2.1 html实现请点 ...
python壁纸高清图片_详解Python静态网页爬取获取高清壁纸
前言在设计爬虫项目的时候,首先要在脑内明确人工浏览页面获得图片时的步骤一般地,我们去网上批量打开壁纸的时候一般操作如下: 1.打开壁纸网页 2.单击壁纸图(打开指定壁纸的页面) 3.选择分辨率(我 ...
python手机壁纸超清_详解Python静态网页爬取获取高清壁纸
前言在设计爬虫项目的时候,首先要在脑内明确人工浏览页面获得图片时的步骤一般地,我们去网上批量打开壁纸的时候一般操作如下: 1.打开壁纸网页 2.单击壁纸图(打开指定壁纸的页面) 3.选择分辨率(我 ...

python3.0下载用什么浏览器_无法让Python下载网页源代码：“不支持浏览器版本”...

python3.0下载用什么浏览器_无法让Python下载网页源代码：“不支持浏览器版本”...相关推荐

最新文章

热门文章