好用的 curl 抓取页面的封装函数

由于经常使用php curl 抓取页面的内容，在此mark 平时自己封装的 curl函数,(其实 现在也开始用 Python 来爬了~  ^-^)

/*** 封装curl方法* @author FredGui* @param string $url 必选  接口地址* @param string $post 可选  如果是post访问填写post参数数组* @param int $timeout 可选  超时时间* @param string $cookie* @param int $decode* @return mixed|null*/
function curlHtml($url, $post = '', $timeout = 30, $cookie = '', $decode = 1){$ch = curl_init();curl_setopt($ch, CURLOPT_URL, $url);curl_setopt($ch, CURLOPT_HEADER, 0);if ($post) {curl_setopt($ch, CURLOPT_POST, 1);curl_setopt($ch, CURLOPT_POSTFIELDS, $post);}curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);curl_setopt($ch, CURLOPT_BINARYTRANSFER, 1);curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);if ($cookie) {curl_setopt($ch, CURLOPT_COOKIE, $cookie);}$data = curl_exec($ch);$httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);if ($httpCode == '200') {if ($decode == 1 && !is_null(json_decode($data))) {$data = json_decode($data, true);}} else {$data = NULL;}curl_close($ch);return $data;
}$html = curlHtml('http://www.baidu.com');
echo '<pre>';
//var_dump($html);

var_dump(strip_tags($html));exit;

　把页面内的 html标签去掉了：如下（网页的所有内容）

　本文地址：http://www.cnblogs.com/guixiaoming/p/6424160.html

转载于:https://www.cnblogs.com/guixiaoming/p/6424160.html

好用的 curl 抓取页面的封装函数相关推荐

curl抓取页面时遇到重定向的解决方法（转）
用php的curl抓取网页遇到了问题,为阐述方便,将代码简化如下: [php] view plaincopy <?php function curlGet($url) { $ch = curl_ ...
PHP使用CURL抓取页面
cURL的基本原理 curl是利用URL语法在命令行方式下工作的开源文件传输工具,他能够从互联网上获得各种各样的网络资源.简单来说,curl就是抓取页面的升级版. <?php//1.初始化,创建 ...
curl抓取页面是乱码 php_php解决curl编码问题－curl乱码－curl在post表单时乱码
目前经常使用的编码为UTF-8当然还有GB2312,GBK等编码,在进行网页的抓取分析的时候总会遇到乱码的问题,当网页编码为GB2312数据库编码为UTF-8时也会遇到这个问题. php的mb_con ...
curl抓取页面是乱码 php_php curl 获取网页内容中文乱码
获取是没问题..但是似乎字符编码上有些问题, //header( "Content-type:text/html;Charset=utf-8" ); $urls = [ 'http ...
curl抓取页面每次生成新的session问题
2019独角兽企业重金招聘Python工程师标准>>> curl_setopt($ch , CURLOPT_COOKIEJAR , COOKIE_FILE_PATH); curl_s ...
php抓取页面方法汇总
在做一些互联网应用的时候,往往需要抓取网络文件大多数网页文件,一般情况下都是利用php模拟浏览器的访问,通过http请求访问url地址,然后得到html源代码或者其它格式的数据,然后对这些数据进行处理 ...
crul php 反爬虫,pixabay 反爬好厉害，浏览器能访问，复制所有 headers 用 curl 抓取，直接 403，好神奇！...
这几天不能外出,在家闲来无事准备写爬虫练手,选了个 pixabay.com ,浏览器正常访问,复制浏览器 headers,用 curl 抓取页面内容: $ch = curl_init('https:/ ...
PHP使用CURL抓取网页
CURL是一个非常强大的开源库,支持很多协议,包括HTTP.FTP.TELNET等,我们使用它来发送HTTP请求.它给我们带来的好处是可以通过灵活的选项设置不同的HTTP协议参数,并且支持HTTPS ...
【php】curl模拟登录抓取页面信息
[php]curl模拟登录抓取页面信息在本项目中,使用php抓取四川大学综合教务网站的成绩信息.课程信息以及登录用户的基本资料,解析数据并存入数据库,以实现对所得信息的进一步分析,并呈现给用户. 本 ...
爬虫抓取页面数据原理（php爬虫框架有很多）
爬虫抓取页面数据原理(php爬虫框架有很多 ) 一.总结 1.php爬虫框架有很多,包括很多傻瓜式的软件 2.照以前写过java爬虫的例子来看,真的非常简单,就是一个获取网页数据的类或者方法(这里的话 ...

好用的 curl 抓取页面的封装函数

好用的 curl 抓取页面的封装函数相关推荐

最新文章

热门文章

好用的 curl 抓取 页面的封装函数

好用的 curl 抓取 页面的封装函数相关推荐

最新文章

热门文章

好用的 curl 抓取页面的封装函数

好用的 curl 抓取页面的封装函数相关推荐