/**

* curl 多线程

* @author http://www.lai18.com

* @param array $array 并行网址

* @param int $timeout 超时时间

* @return mix

*/

public function Curl_http($array,$timeout='15'){

$res = array();

$mh = curl_multi_init();//创建多个curl语柄

foreach($array as $k=>$url){

$conn[$k]=curl_init($url);//初始化

curl_setopt($conn[$k], CURLOPT_TIMEOUT, $timeout);//设置超时时间

curl_setopt($conn[$k], CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; MSIE 5.01; Windows NT 5.0)');

curl_setopt($conn[$k], CURLOPT_MAXREDIRS, 7);//HTTp定向级别 ,7最高

curl_setopt($conn[$k], CURLOPT_HEADER, false);//这里不要header,加块效率

curl_setopt($conn[$k], CURLOPT_FOLLOWLOCATION, 1); // 302 redirect

curl_setopt($conn[$k], CURLOPT_RETURNTRANSFER,1);//要求结果为字符串且输出到屏幕上

curl_setopt($conn[$k], CURLOPT_HTTPGET, true);

curl_multi_add_handle ($mh,$conn[$k]);

}

//防止死循环耗死cpu 这段是根据网上的写法

do {

$mrc = curl_multi_exec($mh,$active);//当无数据,active=true

} while ($mrc == CURLM_CALL_MULTI_PERFORM);//当正在接受数据时

while ($active and $mrc == CURLM_OK) {//当无数据时或请求暂停时,active=true

if (curl_multi_select($mh) != -1) {

do {

$mrc = curl_multi_exec($mh, $active);

} while ($mrc == CURLM_CALL_MULTI_PERFORM);

}

}

foreach ($array as $k => $url) {

if(!curl_errno($conn[$k])){

$data[$k]=curl_multi_getcontent($conn[$k]);//数据转换为array

$header[$k]=curl_getinfo($conn[$k]);//返回http头信息

curl_close($conn[$k]);//关闭语柄

curl_multi_remove_handle($mh  , $conn[$k]);   //释放资源

}else{

unset($k,$url);

}

}

curl_multi_close($mh);

return $data;

}

//参数接收

$callback = $_GET['callback'];

$hrefs = $_GET['hrefs'];

$urlarray = explode(',',trim($hrefs,','));

$date = date('Ymd',time());

//实例化

$img = new HttpImg();

$stime = $img->getMicrotime();//开始时间

$data = $img->Curl_http($urlarray,'20');//列表数据

mkdir('./img/'.$date,0777);

foreach ((array)$data as $k=>$v){

preg_match_all("/(hrefsrc)=(["']?)([^ "'>]+.(jpgpngPNGJPGgif))\2/i", $v, $matches[$k]);

if(count($matches[$k][3])>0){

$dataimg = $img->Curl_http($matches[$k][3],'20');//全部图片数据二进制

$j = 0;

foreach ((array)$dataimg as $kk=>$vv){

if($vv !=''){

$rand = rand(1000,9999);

$basename = time()."_".$rand.".".jpg;//保存为jpg格式的文件

$fname = './img/'.$date."/"."$basename";

file_put_contents($fname, $vv);

$j++;

echo "创建第".$j."张图片"."$fname"."

";

}else{

unset($kk,$vv);

}

}

}else{

unset($matches);

}

}

$etime = $img->getMicrotime();//结束时间

echo "用时".($etime-$stime)."秒";

exit;

php批量采集电视剧,如何通过PHP多线程批量采集下载远程网站图片代码实例相关推荐

  1. java多线程下载源码_Java多线程文件分片下载实现的示例代码

    多线程下载介绍 多线程下载技术是很常见的一种下载方案,这种方式充分利用了多线程的优势,在同一时间段内通过多个线程发起下载请求,将需要下载的数据分割成多个部分,每一个线程只负责下载其中一个部分,然后将下 ...

  2. 怎么批量下载pexels网站图片?如何解决该网站的反爬?有人说用pexels 的api接口就可以解决。

    梗概:pexels的图片高清度超高,特别适合做桌面图片背景.我在网上搜索了以往爬取pexels图片的代码,没有能完美解决问题的代码可用.主要是人家pexels有反爬,有个认提出用selelium绕过反 ...

  3. 使用多线程批量处理数据

    使用多线程批量处理数据 文章目录 使用多线程批量处理数据 为什么要开启多线程处理?道理很简单,如果处理一千条数据需要10ms,那么串行处理1w条就要100ms,假如开启10个线程同时并发处理,只需要约 ...

  4. 【相机开发】相机采集、处理、显示多线程开发

    文章目录 前言 相机采集多线程开发 相机采集流程 多线程实现 预览线程 图像获取线程 相机处理多线程开发 相机处理流程 多线程实现 相机显示多线程开发 相机显示流程 多线程实现 结语 前言 相机的采集 ...

  5. PHP多线程批量采集下载图片

    PHP多线程批量采集下载图片 博客分类: PHP 使用curl的多线程,另外curl可以设置请求时间,遇到很慢的url资源,可以果断的放弃,这样没有阻塞,另外有多线程请求,效率应该比较高,参考:< ...

  6. 多线程批量ping服务器

    最近由于工作的需要写了个多线程批量ping服务器的脚本,如果服务器down了,自动发报警邮件(可以添加多收件人) 提示:程序网页显示可以能有缩进问题. multithreading_ping_host ...

  7. Spring多线程批量发送邮件(ThreadPoolTaskExecutor)

    1,需求:使用多线程批量发送邮件 需要批量发送邮件大概400封左右,但是因为发送邮件受网络限制,所以经常导致等待超时.所以就想到了使用多线程来发邮件,因为是异步的所以返回结果不受发邮件影响. 2,思路 ...

  8. java多线程批量读取文件(七)

    新公司入职一个多月了,至今没有事情可以做,十来个新同事都一样抓狂,所以大家都自己学习一些新东西,我最近在看zookeeper,感觉蛮不错的,和微服务的zuul以及eureka功能类似,只是代码复杂了一 ...

  9. python爆破端口_挑战全网多线程批量扫描爆破弱办事端口工具,Python制造专属!...

    挑战全网多线程批量扫描&爆破弱办事端口工具,Python制造专属!-1.jpg (29.47 KB, 下载次数: 0) 2018-8-16 17:05 上传 前言 你学习Python的目的是什 ...

最新文章

  1. 图形推理1000题pdf_笔试|图形推理题满分攻略
  2. R语言连接MySQL报错:could not run statement: The used command is not allowed with this MySQL version
  3. Web网站的性能测试工具
  4. 重磅!6.7亿美元!F5喜提开源服务器Nginx
  5. python基础之python中if __name__ == '__main__': 的解析
  6. TDSQL 全时态数据库系统--核心技术
  7. 警卫站岗(树上dp)
  8. Wpf中通过绑定来更新textbox的值
  9. 错误集合_20220131
  10. python列表到元祖_python列表与元祖
  11. Linux 系统级开启文件句柄 调优
  12. 用gulp-imageisux智图api压缩图片
  13. 10分钟健身法读书笔记(5/5)
  14. 无处不在的微创新——验证码的故事
  15. 如何将Excel中以文本形式存储的数字批量快速地转换为数值类型
  16. pubmedy安装不聊了_摆脱单身全靠这个比Pubmed还6的神器啦~
  17. 开源是什么以及如何做
  18. html+css+js简单实现图片轮播效果
  19. 【Python、数学】计算任意位数的圆周率π(马青公式)
  20. Pandas、Numpy使用时常见问题

热门文章

  1. 更新fielddata为true_在pytorch中停止梯度流的若干办法,避免不必要模块的参数更新...
  2. python猜猜我是几,我在python中猜数游戏的问题
  3. c++矩阵连乘的动态规划算法并输出_你在Java中用过动态规划吗?
  4. java宠物健康值_宠物健康微手册:成年篇
  5. opencv22-直方图均衡化
  6. Python Pytest前置setup和后置teardown详解
  7. codeforces 540D Bad Luck Island (概率DP)
  8. Java 面向对象的设计思维
  9. PAT1132: Cut Integer
  10. LeetCode: Convert BST to Greater Tree