php curl 下载网页,php 通过cURL函数抓取网页、下载网页的简单示例

这篇文章主要为大家详细介绍了php 通过cURL函数抓取网页、下载网页的简单示例，具有一定的参考价值，可以用来参考一下。

php通过cURL函数抓取和下载网页，感兴趣的小伙伴，下面一起跟随512笔记的小编罗X来看看吧。

经测试代码如下：

/**

* 通过cURL函数抓取和下载网页

* @param

* @arrange (512.笔记) www.512pic.com

**/

function curl_download($Url){

// is cURL installed yet?

if (!function_exists('curl_init')){

die('Sorry cURL is not installed!');

}

// OK cool - then let's create a new cURL resource handle

$ch = curl_init();

// Now set some options (most are optional)

// Set URL to download

curl_setopt($ch, CURLOPT_URL, $Url);

// Set a referer

curl_setopt($ch, CURLOPT_REFERER, "http://www.example.org/yay.htm");

// User agent

curl_setopt($ch, CURLOPT_USERAGENT, "MozillaXYZ/1.0");

// Include header in result? (0 = yes, 1 = no)

curl_setopt($ch, CURLOPT_HEADER, 0);

// Should cURL return or print out the data? (true = return, false = print)

curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

// Timeout in seconds

curl_setopt($ch, CURLOPT_TIMEOUT, 10);

// Download the given URL, and return output

$output = curl_exec($ch);

// Close the cURL resource, and free system resources

curl_close($ch);

return $output;

}

//使用范例：

print curl_download('http://www.example.org/');

/*** 来自512笔记(www.512pic.com) ***/

注：关于php 通过cURL函数抓取网页、下载网页的简单示例的内容就先介绍到这里，更多相关文章的可以留意512笔记的其他信息。

关键词：cURL,抓取网页,下载网页

php curl 下载网页,php 通过cURL函数抓取网页、下载网页的简单示例相关推荐

python爬虫抓取动态网页数据_python网络爬虫抓取ajax动态网页数据：以抓取KFC门店地址为例...
一,尝试用BeautifulSoup抓取先打开KFC网站门店列表页面:http://www.kfc.com.cn/kfccda/storelist/index.aspx 可以看到门店列表如下图: 打 ...
php抓取多个网页合并,PHP 使用 CURL 同步抓取多个网页
一般CURL 抓网页的方法, 是一页一页抓, 假设要抓 4页, 所费时间各别是 5,10,7,5 秒, 那全部总合所花的时间就是 5 + 10 + 7 + 5 = 27 秒. 若能同时间去抓取多个网页 ...
webscraper 爬取二级网页_Web Scraper 高级用法——抓取二级网面 | 简易数据分析 13...
这是简易数据分析系列的第 13 篇文章. 在前面的课程里,我们抓取的数据都是在同一个层级下的内容,探讨的问题主要是如何应对市面上的各种分页类型,但对于详情页内容数据如何抓取,却一直没有介绍. 比如说我 ...
浅谈屏蔽搜索引擎爬虫（蜘蛛）抓取/索引/收录网页的几种思路
在大部分情况下,网站开发完成后,在运营期间,都希望搜索引擎收录网站的内容越多越好,但是有的时候为了安全期间不希望搜索引擎收录网页内容,比如在外网部署的监控系统等: 以下列举了屏蔽主流搜索引擎爬虫(蜘 ...
服务器处理蜘蛛抓取网页的过程,搜索引擎蜘蛛抓取页面过程图解
学习seo的人经常在网上看到一句话:搜索引擎蜘蛛跟浏览器差不多,都是抓取页面.那么到底哪些一样哪些不一样?Ethan就通过浏览器帮助大家理解搜索引擎蜘蛛怎样抓取页面. 首先看一张图,是用firebug ...
用HyperSnap实现滚屏抓取多屏网页
用HyperSnap实现滚屏抓取多屏网页你完全不必耐心的看完所有内容,这里想说明的无非是以下2点: 1. 滚屏内容抓取:在HyperSnap的Active Window(ctrl+shift+w)抓 ...
python抓取内存中的网页_『爬虫四步走』手把手教你使用Python抓取并存储网页数据！...
爬虫是Python的一个重要的应用,使用Python爬虫我们可以轻松的从互联网中抓取我们想要的数据,本文将基于爬取B站视频热搜榜单数据并存储为例,详细介绍Python爬虫的基本流程.如果你还在入门爬虫 ...
淘宝主图视频怎么上传？怎么抓取、下载？
淘宝.阿里上的主图视频,很多商家都不会制作主图视频,而又眼馋主图视频来带的流量,而在淘宝上的商家很多都是在阿里进货的,代发.代销的商家,在商品的主图和视频上是比较缺乏资源的,所以商家如果想要获取主图视 ...
淘宝、阿里的商品主图视频如何抓取、下载的步骤
阿里平台的商品主图视频如何下载.抓取.保存上传到淘宝平台呢?这个是淘宝.天猫代发.代销商家目前比较烦心的事了,在电商平台上开店的商家很多都不是专业的卖家,很多商家都是刚刚接触电商平台.开店的毛头小子, ...

php curl 下载网页,php 通过cURL函数抓取网页、下载网页的简单示例

php curl 下载网页,php 通过cURL函数抓取网页、下载网页的简单示例相关推荐

最新文章

热门文章