爬取网站页面与浏览器显示不一致

欲爬取网页链接
scrapy爬虫爬取该页面时的响应如下：

而此时，测试使用requests.get获得网页源代码长度如下：

此网站其他页面也出现上述问题，我按照浏览器的显示情况，用xpath定位的元素节点，再响应中的源代码中查询不到，如下：

将响应中的源代码另存为.htm文件后，再用浏览器打开显示如下：

网页结构完全不一样，最下角看到‘触屏版’字样，点击‘触屏版’后跳转网页与另存打开的网页结构一致，如下：

什么情况！由此可推出此时scrpay获取网页跳转到触屏版导致网页结构不一致，从而无法抓取信息。
考虑触屏版网页源代码数量较小，遂在爬虫脚本中添加判断语句，当响应的源代码总数小于一定量时，采用‘触屏版’的路径表达式定位获取，从而解决问题。

以上为个人笔记，其中的深层缘由暂未了解，其中的解决方法来源于网上各位大佬的解答分享和自己的推测和实践得来，若有不对的地方，请大家指教，谢谢

爬取网站页面与浏览器显示不一致相关推荐

linux网站爬取,Kali下httrack 爬取网站页面
简介: HTTrack 是一个免费开源的网站离线浏览器.通过它可以将整个网站下载到本地的某个目录,包括html.图片和脚本以及样式文件,并对其中的链接进行重构以便于在本地进行浏览. 官网:http:/ ...
node 没有界面的浏览器_node.js爬虫入门（二）爬取动态页面(puppeteer)
之前第一篇爬虫教程node.js爬虫入门(一)爬取静态页面讲解了静态网页的爬取,十分简单,但是遇到一些动态网页(ajax)的话,直接用之前的方法发送请求就无法获得我们想要的数据.这时就需要通过爬取动态 ...
今天教你用 Python 爬取网站的指南
通过基本的 Python 工具获得爬取完整 HTML 网站的实践经验. (本文字数:11235,阅读时长大约:14 分钟) 有很多很棒的书可以帮助你学习 Python ,但是谁真正读了这那些大部头呢? ...
python 第一行报错_初学Python-只需4步，爬取网站图片
很多人学习Python很重要的一个原因是,可以很简单的把一个网站的数据爬下来. 尤其是做我们这一行,产品经理,电商行业. 领导:弄一个买卖游戏周边商品的交易APP出来.我:行,那我们卖什么呀?领导:看 ...
python数据爬取---简单页面的爬取
1.准备Requests和User Agent python中能实现爬虫功能的库有若干个,而最简单最容易上手的,要数Requests库,它是一个常用的http请求库,首先用pip install re ...
爬取千库网ppt_初学Python-只需4步，爬取网站图片（附py文件）
很多人学习Python很重要的一个原因是,可以很简单的把一个网站的数据爬下来. 尤其是做我们这一行,产品经理,电商行业. 领导:弄一个买卖游戏周边商品的交易APP出来. 我:行,那我们卖什么呀? 领导 ...
四个步骤教你爬取网站图片，新手必学
很多人学习Python很重要的一个原因是,可以很简单的把一个网站的数据爬下来. 尤其是做我们这一行,产品经理,电商行业. 领导:弄一个买卖游戏周边商品的交易APP出来. 我:行,那我们卖什么呀? 领导 ...
python爬取网站图片链接并保存,Python爬取网站图片并保存的实现示例
先看看结果吧,去bilibili上拿到的图片=-= 第一步,导入模块 import requests from bs4 import BeautifulSoup requests用来请求html页面, ...
Python爬取网站图片并保存，超级简单
Python爬取网站图片并保存,超级简单先看看结果吧,去bilibili上拿到的图片=-= 第一步,导入模块 import requests from bs4 import BeautifulSou ...

爬取网站页面与浏览器显示不一致

爬取网站页面与浏览器显示不一致相关推荐

最新文章

热门文章