curl检测网页的用法

一般网页状态为200都是正常的，还有一种情况是网页做了跳转，这种情况下网页状态码为301，http的head里会有lcation记录跳转的地址

这个方法不太好用，取出来的值后面会带回车键值可以将值输出到文本里就会看到末尾有带回车键值，需要使用tr命令去除，输出的内容也会有多余的查询值，但是后面加上|grep 200|wc -l命令后可以通过统计的值是否等于0来判断也好用

取状态码

curl -i www.baidu.com|grep HTTP|awk '{print $2}'|tr -d '\r'

使用脚本执行后输出的值会产生以下的问题，就是上面说的一样

取url重定向后的地址

curl -i www.baidu.com|grep Location:|awk '{print $2}' |tr -d '\r'

以下方法可以直接取到想要的值不会有多余的输出，也不用更改格式什么的，可以直接用来做判断

取状态码

curl -s -o /dev/null -w "%{http_code}" www.baidu.com

-s 选项表示静默模式

-o /dev/null选项表示将输出重定向到/dev/null

-w "%{http_code}"选项表示只输出状态码,除了%{http_code}，curl命令还支持其他占位符

-w 选项用于自定义curl命令的输出格式

注意，-w选项只能与-o选项（输出到文件）或-s选项（静默模式）一起使用，否则curl命令将输出状态码以外的其他信息

取url重定向后的地址

curl -s -o /dev/null -w "%{redirect_url}" -I www.baidu.com | tail -n 1

-I 选项表示只获取HTTP头信息

-w "%{redirect_url}"选项表示只输出重定向后的URL

下面展示一下-w的更多用法

%{url_effective}: 输出请求的URL

%{time_total}: 输出请求总时间，包括DNS解析、连接、传输和重定向等时间

%{time_namelookup}: 输出DNS解析时间

%{time_connect}: 输出连接建立时间

%{time_starttransfer}: 输出从请求开始到第一个字节被传输的时间

%{size_download}: 输出下载的数据大小

%{speed_download}: 输出下载速度

-i 输出http head与网页内容

-I 只输出httt head

curl检测网页的用法相关推荐

php curl 测试,php使用curl检测网页是否被百度收录的示例
php使用curl检测网页是否被百度收录的示例 php使用curl检测网页是否被百度收录的示例,需要的'朋友可以参考下. 代码如下: /* * 检测百度是否收录网页 curl模式 * @ param ...
php检测网页内容,php检测网页是否被百度收录函数的简单示例
这篇文章主要为大家详细介绍了php检测网页是否被百度收录函数的简单示例,具有一定的参考价值,可以用来参考一下. 感兴趣的小伙伴,下面一起跟随512笔记的小玲来看看吧! 使用:传入一个网址,如 http ...
curl打开网页403或者302的解决方法（详细总结）
curl打开网页403或者302的解决方法这里我以大众点评网为例 1.浏览器访问:http://www.dianping.com/shop/65334856 我们先说说如何查看Headers的信息 ...
检测网页是否打开开发者工具（检测F12）
检测网页是否打开开发者工具(检测F12) tips ,有个500ms的setInterval ,慎用啊! 有时候我们需要屏蔽一下console 日志: 效果查看: https://sindresorh ...
python 检测文件编码_[常用] 在Python中检测网页编码
[常用] 在Python中检测网页编码在使用Python抓取网页并进行分析时出现这个错误: UnicodeDecodeError: 'utf8' codec can't decode byte 0x ...
可以检测网页被篡改并发送告警通知的工具——WGCLOUD
WGCLOUD是一个高性能的分布式监控系统,server基于springboot架构开发,agent采用go开发,核心模块包括:主机监控,ES集群监控,CPU监控,CPU温度监控,大屏看板,docke ...
yolov5在线检测目标检测网页实时识别python目标检测flask
yolov5在线检测目标检测网页实时识别python目标检测flask #!/usr/bin/env python from importlib import import_module import ...
iframe标签中写html代码,Iframe嵌套HTML网页的用法?
iframe嵌入网页的用法 iframe并不是很常用的,在标准的网页中非常少用.但是有朋友经常问到,下面我简单地介绍一下它的用法,你只要熟练掌握这些参数足矣. 也应该是框架的一种形式,它与不 ...
使用CURL检测Clinet侧发起的HTTP请求各阶段时间
2019独角兽企业重金招聘Python工程师标准>>> 第一.HTTP请求的过程介绍一个HTTP请求,涉及多个阶段 1.DNS解析域名 2.请求从Clinet路由至Server,C ...

curl检测网页的用法

curl检测网页的用法相关推荐

最新文章

热门文章