爬虫为什么用Chrome?
- 为什么爬虫要用Chrome?
- 为什么大家似乎都知道header应该怎么写?
- 为什么大家都知道怎么爬取网页的路线?
- 为什么…
如果你也跟我一样,有过上面类似的疑问,那么我觉得,这篇文章你可能值得看一下。水平有限,如果有差错还望指出。
用Chrome很容易看到网页的源码
轻松右键
->检查
就可以看到这个源代码
检查
中还可以看网页从服务器上不断加载包
虽然一开始我们点开的时候,网页其实已经加载好了。对于所谓的静态网页
在这个地方其实已经加载好了。(百度的首页,一般会被认为是静态网页
)
但是还可以通过这个来看。 比如: 刷新一下网页~
不过,在那之前,我们要点之前检查
的最上面的network
,一般默认是选中All
模式的,在中间偏上的部分。点好之后,我们就可以刷新
了
有趣的事就这样开始了~比如:我们可以检查之前的那个包
就可以看那些包的具体信息。那样,我们就可以得到了所有很多重要的信息了
比如像上面的我们可以看到这个信息,是通过上面header拿到的。不过这个,有些会把这个给隐藏掉。但基本是没有问题的,一般我们只要知道一个就好了。还有其他的骚操作,比如:看看这个包是怎么拿下来的,这样我们就可以特定地拿数据了。
比如,我们选择之前拿到的那些图片(百度官网图片)
通过这个gif,我们可以看到这个,用的是https://www.baidu.com/img/bd_logo1.png
这个url,请求的方法是get
还可以得到对方的服务器地址。
比如在之前的那个gif中,下面就放了remote Address
这个就是远端的地址。此外,还可以通过那个preview来预览一下这个信息包的内容
最后还可以通过最后的tim来看一下这个东西下载所用的时间
(可以算是测测速?)
爬虫为什么用Chrome?相关推荐
- 爬虫:查看Chrome版本
文章目录 一 详细介绍如何查看Chrome浏览器版本 1.点击chrome浏览器右上角的三个点 2.点击帮助-> 关于Google Chrome 3.如图中框中的所示,为当前chrome浏览器版 ...
- python爬虫动态加载页面_python3的爬虫笔记8——动态加载页面爬虫
其实大部分主流网站都不是静态的html,html和Javascript相结合已经是大势所趋. 本篇以花瓣网主页为例子. 花瓣网主页,右键查看网页源代码,获得的页面是这样的: 如果还是用之前静态页面的那 ...
- python好用-Python有哪些常见的、好用的爬虫框架?
在这里推荐几个值得关注的异步爬虫库,给你的爬虫提速.看看有没有你没听过的? 类似 Requests 的库为什么要推荐类似 Requests 的库呢?Requests 不够好吗? 虽然 Requests ...
- 推荐几个值得关注的爬虫库
转载自公众号:easypython 爬虫速度太慢?在这里推荐几个值得关注的异步爬虫库,给你的爬虫提速.看看有没有你没听过的? 类似 Requests 的库 为什么要推荐类似 Requests 的库呢? ...
- Firefox/Chrome渗透测试插件推荐
转自:http://www.freebuf.com/sectool/35250.html 注意:360安全浏览器有些比较不错的功能值得体验下(firefox/chrome有些功能我没能正常使用)不喜勿 ...
- Chrome 实用渗透测试插件合集
XSS Rays 用于检测各类型的XSS漏洞 Google Hack Data Base 连接GHDB的扩展程序 Websecurify Scanner Websecurify 是一个强大的跨平台we ...
- 基于python网络爬虫的个性化音乐播放器
前言 当前很多人在闲暇时喜欢听音乐,那么基于这种现象,我也是肝了几个小时完成了基于python的个性化音乐播放器,现在分享给你们. 开发组件 python3.5 以上版本就行 tkinter (pyt ...
- python爬虫爬取天气数据并图形化显示
前言 使用python进行网页数据的爬取现在已经很常见了,而对天气数据的爬取更是入门级的新手操作,很多人学习爬虫都从天气开始,本文便是介绍了从中国天气网爬取天气数据,能够实现输入想要查询的城市,返回该 ...
- python爬虫之request.get()参数
文章目录 前情回顾 目前反爬总结 请求模块总结 解析模块总结 xpath表达式 增量爬虫如何实现 Chrome浏览器安装插件 今日笔记 链家二手房案例(xpath) 百度贴吧图片抓取 requests ...
最新文章
- pyotrch nn.Conv2d中groups参数的理解
- 使用C#创建SQLite控制台应用程序
- linux ipmitool检测内存,一种基于ipmitool工具循环侦测内存的方法与流程
- 如何不让FCKEditor自动添加P标签
- cloud foundry_Cloud Foundry Java客户端–流事件
- 了解DJango模板系统
- 左手手机右手智慧屏 华为9月要搞大事情
- 社区成员提议YFI修改默认2%管理费为动态费用
- java socket网络编程
- Win10环境下 Cad插件使用失败 解决方法
- 各国程序员薪资水平,最高都知道、垫底想不到...
- 此计算机上的操作系统或service pack,win10系统安装补丁失败提示缺少service pack系统组件的设置办法...
- Axure幻灯片制作
- ubuntu16.04 basler相机 图像采集卡设置
- 福禄克FLUKE DTX-1800和DSX2-8000系列电缆认证分析仪如何导出测试报告?
- 关于微信公众号调起支付
- 云原生数据库TDSQL-C——云上应用研发方式的改变
- 游戏编程之十一 图像页CPICPAGE介绍
- 微机原理及应用->STC25F2K60S2单片机增强型8051内核
- 如何使用C语言动态定义数组长度