网页源代码与开发者工具里打开的代码有何区别？在爬取网页是我们该如何进行选择？

希望你可以不浪费读我这篇文章的时间，可以从中有所学，有所成长！！！冲冲冲(ง •_•)ง

大家在产生疑惑的地方各有不同，有人是网页制作，有人是网页信息爬取，一个萝卜一个坑，今天我就来对网页爬取是出现的状况进行分析，并处理

简单对这两个名词进行介绍吧

网页源代码：
网页源代码是对一个网页所组成代码的构成，我们打开一个网页
框架源代码
相对来说可以说也是网页源代码，但渲染效果不同，里面信息就相对比网页源代码多。
开发者工具：
是对所有源代码渲染之后的结果，将网页源代码和框架代码合起来渲染给我们，里面结构也相对清晰。

网页源代码是父级网页的代码
网页中有一种节点叫iframe，也就是子Frame，相当于网页的子页面，他的结构和外部网页的结构完全一致，框架源代码就是这个子网页的源代码。

这里我们的爬虫得到的是网页源代码，有时我们用requests提取网页源代码时，发现我们所需要提取的数据里面没有，不要慌，你所需要的信息在网页的框架源代码中，这也算是一钟反爬机制，我们可以对框架源代码进行爬取。

框架源代码可以右键查看，然后寻找相对于的 url
或者可以利用开发者工具进行抓包，处理

网页源代码与开发者工具里打开的代码有何区别？在爬取网页是我们该如何进行选择？（网页源代码，框架源代码，开发者工具三者的联系）相关推荐

在chrome里查询修改html代码,我需要在网页中直接编辑CSS？打开Web代码检查器
我需要在网页中直接编辑CSS?打开Web代码检查器最受欢迎的支持问题是:"我必须编辑哪些CSS代码才能改变(-)的外观".几年前,CSS/HTML编辑器是最有用的web开发工具. ...
4.5 银行间拆借利率爬取（switch_to.frame()函数切换到子网页，浏览器同级页面切换--switch.window()函数）
银行间的资金流转数额通常非常大,某个银行在遇到资金流转问题时通常会向同业进行拆借,以弥补资金缺口,通常短时间内就会还清.还钱除了还本付息,而用于计算利息的利率,国内最常用的是上海银行间同业拆放利率(S ...
python爬取网页代码-python爬虫爬取网页所有数据详细教程
Python爬虫可通过查找一个或多个域的所有 URL 从 Web 收集数据.Python 有几个流行的网络爬虫库和框架.大家熟知的就是python爬取网页数据,对于没有编程技术的普通人来说,怎么才能快 ...
【实用工具系列之爬虫】python实现爬取代理IP（防 ‘反爬虫’）
系列 [实用工具系列之爬虫]python实现爬取代理IP(防 '反爬虫') [实用工具系列之爬虫]python实现快速爬取财经资讯(防 '反爬虫') 本文使用python实现代理IP的爬取,并可以防' ...
Python爬虫【三】爬取PC网页版“微博辟谣”账号内容(selenium单页面内多线程爬取内容)
专题系列导引爬虫课题描述可见: Python爬虫[零]课题介绍 – 对"微博辟谣"账号的历史微博进行数据采集课题解决方法: 微博移动版爬虫 Python爬虫[一]爬取移 ...
html页面和Chrome开发者工具elements界面不一致的一个可能原因：没有在Chrome开发者工具里打开对Shadow DOM显示的支持
一个例子: 虽然UI上input field里显示的是Jerry,但是Chrome开发者工具里面并没有显示出来. 注意上图最下方,显示的input后面有#shadow-root.div. 打开sett ...
app.vue里使用data_Python爬虫使用正则爬取网站，正则都不会就别玩爬虫了！
本文章的所有代码和相关文章, 仅用于经验技术交流分享,禁止将相关技术应用到不正当途径,滥用技术产生的风险与本人无关.本文章是自己学习的一些记录.欢迎各位大佬点评! 源码在GitHub上面,且相关介绍更 ...
python爬虫获取图片无法打开或已损坏_Python爬取小姐姐图片
爬取图片主要分为一下几步: 1.打开一个你喜欢的小姐姐的网站 2.下载并安装python环境 3.开始编码 python 全部代码如下 # requests 请求需要提前在Terminal中安装 p ...
python爬虫获取的网页数据为什么要加[0-Python爬虫实战1-解决需要爬取网页N秒后的内容的需求...
-------谢谢您的参考,如有疑问,欢迎交流前引: 当你需要爬取的页面内容在访问页面5秒后才会出现, 这时使用python的requests模块就很难爬取到你想要的内容了. requests和se ...

网页源代码与开发者工具里打开的代码有何区别？在爬取网页是我们该如何进行选择？（网页源代码，框架源代码，开发者工具三者的联系）

网页源代码与开发者工具里打开的代码有何区别？在爬取网页是我们该如何进行选择？

简单对这两个名词进行介绍吧

网页源代码与开发者工具里打开的代码有何区别？在爬取网页是我们该如何进行选择？（网页源代码，框架源代码，开发者工具三者的联系）相关推荐

最新文章

热门文章