爬页面源码（page_source）

一般来说，selenium的page_source方法可以直接返回页面源代码

爬取网页ICP号：

from selenium import webdriver
import rehtml_list=["http://anzhuo.paojiao.cn/","http://sj.zol.com.cn/android_app/","https://appgallery.huawei.com/#/Apps",
]
for url in html_list:browser = webdriver.Chrome()browser.set_page_load_timeout(20)       # 网页超时加载时间try:browser.get(url)result = browser.page_sourceexcept:print("{}超时".format(url))browser.quit()else:icp_name = ""icp_list = re.findall("([京津冀晋苏浙皖闽豫鄂湘粤桂琼川蜀蒙辽吉黑沪赣鲁贵黔云滇渝藏陕秦新甘陇青宁港澳台]ICP[备|证]\d{6,8}号*(?:-[1-9]\d?)?)", result)if icp_list:icp_name = icp_list[0]print(url, icp_name)browser.quit()

如上，给了三个网页：

第一个网页超时，

第二个网

page_sourse爬取渲染后的页面代码相关推荐

python房子代码_基于python的链家小区房价爬取——仅需60行代码！
简介首先打开相关网页(北京链家小区信息). 注意本博客的代码适用于爬取某个城市的小区二手房房价信息. 如果需要爬取其他信息,可修改代码,链家的数据获取的基本逻辑都差不多. 效果展示因为只需要60行 ...
python爬虫动态加载页面_Python+Selenium爬取动态加载页面（2）
注: 上一篇<Python+Selenium爬取动态加载页面(1)>讲了基本地如何获取动态页面的数据,这里再讲一个稍微复杂一点的数据获取全国水雨情网.数据的获取过程跟人手动获取过程类似,所 ...
python爬取南京市房价_基于python的链家小区房价爬取——仅需60行代码
简介首先打开相关网页(北京链家小区信息). 注意本博客的代码适用于爬取某个城市的小区二手房房价信息. 如果需要爬取其他信息,可修改代码,链家的数据获取的基本逻辑都差不多. 效果展示因为只需要60行 ...
python 爬取豆瓣top100电影页面
python 爬取豆瓣top100电影页面运行结果截图: 代码: (原网站:https://movie.douban.com/top250) 1.将页面保存避免多次访问 (登陆状态需页面cooki ...
Python爬虫：Xpath爬取网页信息（附代码）
Python爬虫:Xpath爬取网页信息(附代码) 上一次分享了使用Python简单爬取网页信息的方法.但是仅仅对于单一网页的信息爬取一般无法满足我们的数据需求.对于一般的数据需求,我们通常需要从一个 ...
python爬虫图片实例-Python爬虫爬取煎蛋网图片代码实例
这篇文章主要介绍了Python爬虫爬取煎蛋网图片代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下今天,试着爬取了煎蛋网的图片. 用到的包: ...
python爬图代码实例_Python爬虫爬取煎蛋网图片代码实例
这篇文章主要介绍了Python爬虫爬取煎蛋网图片代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下今天,试着爬取了煎蛋网的图片. 用到的包: ...
无法爬取淘宝商品页面
问题描述:无法爬取淘宝商品页面案例如下: import requests import redef getHTMLText(url):try: r = requests.get(url,timeou ...
Python爬虫爬取煎蛋网图片代码实例
这篇文章主要介绍了Python爬虫爬取煎蛋网图片代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下今天,试着爬取了煎蛋网的图片. 用到的包: ...

page_sourse爬取渲染后的页面代码

爬页面源码（page_source）

page_sourse爬取渲染后的页面代码相关推荐

最新文章

热门文章