curl抓取页面时遇到重定向的解决方法（转）

用php的curl抓取网页遇到了问题，为阐述方便，将代码简化如下：

[php] view plaincopy

<?php
function curlGet($url) {
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HEADER, true);
return curl_exec($ch);
}
$url = 'http://144go.com';
echo curlGet($url), "\n";

代码的目的很简单，抓取页面：http://www.144go.com
执行上述代码，得到的结果：

[plain] view plaincopy

HTTP/1.1 301 Moved Permanently
Content-Length: 144
Content-Type: text/html
Location: http://www.144go.com/
Server: Microsoft-IIS/6.0
X-Powered-By: ASP.NET
Date: Mon, 03 Sep 2012 04:25:22 GMT
<head><title>Document Moved</title></head>
<body><h1>Object Moved</h1>This document may be found <a HREF="http://www.144go.com/">here</a></body>

由结果中的
Location: http://www.144go.com/
可知http://144go.com被重定向到了http://www.144go.com/

怎么办呢，要用正则分析出Location部分的链接，重复执行执行curlGet吗？行到是行，就是有点麻烦。

其实只要加一条语就可以了：

[php] view plaincopy

<?php
function curlGet($url) {
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HEADER, true);
//函数中加入下面这条语句
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
return curl_exec($ch);
}

再次执行代码，可以抓取到想要的页面。
CURLOPT_FOLLOWLOCATION指明：
让curl递归的抓取http头中Location中指明的url。
当抓取次数超过CURLOPT_MAXREDIRS时，递归将终止。
在抓取中任何跳转带来的问题，都可通过设置此参数解决。

转载于:https://www.cnblogs.com/huojing/articles/5725917.html

curl抓取页面时遇到重定向的解决方法（转）相关推荐

PHP使用CURL抓取页面
cURL的基本原理 curl是利用URL语法在命令行方式下工作的开源文件传输工具,他能够从互联网上获得各种各样的网络资源.简单来说,curl就是抓取页面的升级版. <?php//1.初始化,创建 ...
curl抓取页面是乱码 php_php解决curl编码问题－curl乱码－curl在post表单时乱码
目前经常使用的编码为UTF-8当然还有GB2312,GBK等编码,在进行网页的抓取分析的时候总会遇到乱码的问题,当网页编码为GB2312数据库编码为UTF-8时也会遇到这个问题. php的mb_con ...
php 让百度蜘蛛抓取403,百度蜘蛛抓取不存在目录对应的解决方法
相信大家在分析百度蜘蛛日志的时候经常会发现一个问题,就是百度蜘蛛经常会抓取一些不存在的目录,比如:我网站没有这些目录,但是百度蜘蛛一直在抓取,或者你会发现百度蜘蛛在抓取自己的隐私目录,或者说php文件 ...
opencv VideoCapture抓取RTSP高延迟，崩溃解决方法
目前项目需要对网络摄像头进行实时视觉算法检测. 遇到问题: 在使用抓取VideoCaptureRTSP流的过程中,若需要对图像进行处理,则最后的显示结果画面就会表现出高延迟,然后卡住,很快崩溃: 直观 ...
curl抓取页面是乱码 php_php curl 获取网页内容中文乱码
获取是没问题..但是似乎字符编码上有些问题, //header( "Content-type:text/html;Charset=utf-8" ); $urls = [ 'http ...
curl抓取页面每次生成新的session问题
2019独角兽企业重金招聘Python工程师标准>>> curl_setopt($ch , CURLOPT_COOKIEJAR , COOKIE_FILE_PATH); curl_s ...
Filter进行登录验证时循环重定向的解决方法
Filter也称之为过滤器,它是Servlet2.3以上新增加的一个功能,其技术是非常强大的.通过Filter技术可以对WEB服务器的文件进行拦截过滤,从而实现一些特殊的功能.在JSP开发应用中也是必 ...
springboot从控制器请求至页面时js失效的解决方法
大家好,我是雄雄,欢迎关注公众号[雄雄的小课堂]. 昨天遇到了个很棘手的问题,其实也怪自己大意了,然后翻来覆去一个类一个类的去看,看完之后挨个技术点怀疑,然后分别从各个技术点入手解决,但都无功而返! ...
springboot+layui从控制器请求至页面时js失效的解决方法
大家好,我是雄雄,欢迎关注公众号[雄雄的小课堂]. 昨天遇到了个很棘手的问题,其实也怪自己大意了,然后翻来覆去一个类一个类的去看,看完之后挨个技术点怀疑,然后分别从各个技术点入手解决,但都无功而返! ...

curl抓取页面时遇到重定向的解决方法（转）

curl抓取页面时遇到重定向的解决方法（转）相关推荐

最新文章

热门文章