使用requests.get()得到的源代码与浏览器中的不一样

最近在入门爬虫，遇到了一个问题，就是我用requests.get()之后得到的源代码跟浏览器里面的不一样（爬的是百度搜索“美女”之后的网页），今天看了崔庆才的《python3网络爬虫开发实战》在2.3.3节找到了答案：我们用urllib或requests获取到的是HTML源代码，但是这个网页是用js渲染的，上面两个库不会像浏览器那样继续运行后面请求来的js模块，所以不一样。
还有一个问题，就是我用Beautiful Soup的find_all()方法找不到的标签，用正则表达式找到了，该问题应该是像我这种新手常犯的错误，我是按照F12界面中"元素"的DOM树来写的，这个跟网页源代码不一定一样，因为该界面所展示的东西可能经过JS渲染过，如果要看源代码，就找到F12界面的“源代码”标签，或者“Ctrl+U”查看，再或者在浏览器地址栏https前面输入“view-source”也可以查看。

使用requests.get()得到的源代码与浏览器中的不一样相关推荐

Python利用requests抓取页面源代码（基础）
Python利用requests抓取页面源代码(基础) Requests模块是一个用于网络访问的模块. 由于使用到的requests库为第三方库,需要事先对其进行安装 1.1安装requests (1 ...
谷歌浏览器怎么查看网页源代码 Chrome浏览器网页源代码查看技巧分享
凭借简单.高效的使用体验,谷歌开发的网页浏览器"Chrome"在国内也不乏粉丝,甚至一度被视为装机必备的软件之一.但其操作方式和界面设计,与国产浏览器略有不同!那么,谷歌浏览器要怎 ...
在百度浏览器中实行查看网页源代码的详细操作步骤
百度浏览器软件大小: 45.31MB 软件版本: 8.7.5000.4985 软件类型: 浏览器查看详情 yesky 标签: 浏览器网络软件百度百度浏览器刚下载百度浏览器的同学,问小编如何 ...
深入浅出经典面试题：从浏览器中输入URL到页面加载发生了什么 - Part 3
备注: 因为文章太长,所以将它分为三部分,本文是第三部分. 第一部分:深入浅出经典面试题:从浏览器中输入URL到页面加载发生了什么 - Part 1 第二部分:深入浅出经典面试题:从浏览器中输入URL ...
搜狗高速浏览器提示您怎么关闭_那些浏览器中的快捷键们
原本的计划是写一篇关于谷歌浏览器的骚操作文章的,奈何看了谷歌官方的快捷键介绍页面感觉写的好棒而且精简,就简单盘点一下在工作和生活中可以提高效率的一些常用的快捷键吧.文末附上谷歌快捷键帮助链接. 「快捷 ...
php多浏览器支持,测试网站在多个浏览器中的兼容性：MultiBrowser ┆V1.3.1 多国语言版...
MultiBrowser应该是做网站设计,网站设计师必备的软件了,此软件可以测试网站在多个浏览器中的兼容性!MultiBrowser能够让你同时检查同一网页在chrome.firefox.ie等浏览器 ...
用Javascript代码实现浏览器菜单命令(以下代码在 Windows XP下的浏览器中调试通过
每当我们看到别人网页上的打开.打印.前进.另存为.后退.关闭本窗口.禁用右键等实现浏览器命令的链接,而自己苦于不能实现时,是不是感到很遗憾?是不是也想实现?如果能在网页上能实现浏览器的命令,将是多么有 ...
codeigniter_如何在浏览器中查看CodeIgniter日志文件
codeigniter by Seun Matt 通过Seun Matt 如何在浏览器中查看CodeIgniter日志文件 (How to View CodeIgniter Log Files in ...
如何使用功能性JavaScript编写经典游戏Snake并在浏览器中播放-完整的代码示例教程
Remember the game Snake that came pre-installed on every Nokia phone back in the 1990s? You steered ...

使用requests.get()得到的源代码与浏览器中的不一样

使用requests.get()得到的源代码与浏览器中的不一样相关推荐

最新文章

热门文章