php 实现网站克隆,自己写的php curl库实现整站克隆功能

有时候经常会用到一些在线手册，比如国内或国外的，有些是访问速度慢，有些是作者直接吧网站关闭了，有些是服务器总是宕机，所以还是全盘克隆到自己服务器比较爽。

库特点：

给定一初始连接，初始链接以下的层级所有文件会拷贝到本地。多次克隆可以配置是否覆盖。可以配置是否下载图片。所有链接替换为相对链接，所以可以随便rewrite。绝对不会出现文件覆盖等问题。最NB的特点是，没有比这更NB的库了。

SVN：http://svn.phpdr.net/repos/ares/php/library/trunk/lib/CurlMulti/MyCurl/Clone.php

网页设计下载：http://xiazai.jb51.net/201502/other/CurlMulti.rar

克隆结果展示(这个克隆操作几秒钟就完成了)：

克隆源网站：http://www.laruence.com/manual/克隆结果：http://manual.phpdr.net/yaf/

Demo代码：复制代码代码如下:<?phpclass Controller_Spider extends MyYaf_Controller_Base{ function init(){ parent::init(); if(!$this->getRequest()->isCli()){ Ares_Http::error403(); } include "CurlMulti/CurlMulti.php"; include "CurlMulti/MyCurl.php"; include "phpQuery.php"; }}

复制代码代码如下:<?phpclass YafdocController extends Controller_Spider { function init() { parent::init (); include "CurlMulti/MyCurl/Clone.php"; } function indexAction() { $url = "http://www.laruence.com/manual"; $dir = Yaf_Application::app ()->getAppDirectory () . "/data/manual"; $cacheDir = $this->getBaseDir () . "/cache/curl"; if (! is_dir ( $cacheDir )) { mkdir ( $cacheDir ); } $curl = new CurlMulti (); $curl->maxThread = 10; $curl->cache ["enable"] = true; $curl->cache ["enableDownload"] = true; $curl->cache ["dir"] = $cacheDir; $curl->cache ["compress"] = true; $clone = new MyCurl_Clone ( $curl, $url, $dir ); $clone->overwrite = true; $clone->start (); return false; }}

php 实现网站克隆,自己写的php curl库实现整站克隆功能相关推荐

自己写的php curl库实现整站克隆
有时候常常会用到一些在线手冊,比方国内或国外的.有些是訪问速度慢,有些是作者直接吧站点关闭了,有些是server总是宕机.所以还是全盘克隆到自己server比較爽.所已这里给了一个demo < ...
织梦网站php源码安装,织梦模板DEDECMS整站源码通用安装教程
今天先跟大家介绍一下dedecms织梦系统安装的方法步骤,以及织梦数据库还原的教程.详细请看图文讲解: 1.运行http://域名/install/index.php(比如你的域名是:http://d ...
网站标题怎么写可以被搜索引擎快速识别？
在网站的整体优化中,网站的标题也一直都是搜索引擎对网站评级的重要指标,那么怎样的标题才会更能吸引搜索引擎呢?标题又该如何设置会对网站SEO优化有帮助呢?下面一起来了解一下. 一.标题字数一般来说是由 ...
门户网站的免费写手我们可怜的SEOer
门户网站的免费写手我们可怜的SEOer 软文高手打酱油去,我这里只是跟一般写手说一下.当然很多人是不写软文的,包括我. 这几天上网一查SEO的文章,同时也查了查文章被转了多少次,心痛啊!开始说说某些故 ...
html的搜索框代码怎么写_网站新闻怎么写才能被搜索引擎收录？
怎么提高网站新闻页收录问题,我想难倒了很多网站优化人员.很多人问为什么自己写的原创文章百度就不收录,反而别人伪原创的立马就收录了,这什么道理?seo们别急,下面互旦科技给大家好好解答其中的原因? 网站 ...
SEO网站诊断技巧-网站诊断书怎么写!!!
SEO网站诊断技巧-网站诊断书怎么写回顾: 1.网站权重通过什么来传递 2.站外传递方式只要分为哪几种? ...
服务器备案的网站名称怎么填写,公安备案网站名称怎么写？
最近很多新老用户接到西安网警打来电话让进行公安网安备案,要求通过全国互联网安全管理服务平台进行公安联网备案,客户俗称:公安备案网站名称怎么写? 依据 <计算机信息网络国际联网安全保护管理办法&g ...
企业软文\网站文章代写工具有哪些应用问题及优化升级
一.应用问题现在市面上流行的企业软文\网站文章编写工具,文章的内容素材一般都是从网上自动抓取,然后把内容素材随机组合从而成为一篇文章,这种随机内容拼凑的文章优点是内容一般都比较独特,不会与网上已有文 ...
用php写的亲亲鲜花网站_PHP最新鲜花礼品商城网站整站源码(自适应手机端) 鲜花商城dedecms模板源码...
资源描述 PHP最新鲜花礼品商城网站整站源码(自适应手机端) 鲜花商城dedecms模板源码模板介绍: 织梦最新内核开发的模板,该模板属于鲜花网.鲜花商城类企业都可使用! 这款模板使用范围极广,不仅 ...
用php写的亲亲鲜花网站_PHP鲜花网站模板植物园林花卉源码 html5手机自适应整站带后台...
宝贝说明 (自适应手机版)响应式园林花卉类网站织梦模板 HTML5鲜花植物养护网站源码下载响应式园林花卉类网站织梦模板(自适应手机端) 模板介绍: 这款dedecms模板使用范围极广,不仅仅局限于一 ...

php 实现网站克隆,自己写的php curl库实现整站克隆功能

php 实现网站克隆,自己写的php curl库实现整站克隆功能相关推荐

最新文章

热门文章