php批量采集电视剧,如何通过PHP多线程批量采集下载远程网站图片代码实例
/**
* curl 多线程
* @author http://www.lai18.com
* @param array $array 并行网址
* @param int $timeout 超时时间
* @return mix
*/
public function Curl_http($array,$timeout='15'){
$res = array();
$mh = curl_multi_init();//创建多个curl语柄
foreach($array as $k=>$url){
$conn[$k]=curl_init($url);//初始化
curl_setopt($conn[$k], CURLOPT_TIMEOUT, $timeout);//设置超时时间
curl_setopt($conn[$k], CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; MSIE 5.01; Windows NT 5.0)');
curl_setopt($conn[$k], CURLOPT_MAXREDIRS, 7);//HTTp定向级别 ,7最高
curl_setopt($conn[$k], CURLOPT_HEADER, false);//这里不要header,加块效率
curl_setopt($conn[$k], CURLOPT_FOLLOWLOCATION, 1); // 302 redirect
curl_setopt($conn[$k], CURLOPT_RETURNTRANSFER,1);//要求结果为字符串且输出到屏幕上
curl_setopt($conn[$k], CURLOPT_HTTPGET, true);
curl_multi_add_handle ($mh,$conn[$k]);
}
//防止死循环耗死cpu 这段是根据网上的写法
do {
$mrc = curl_multi_exec($mh,$active);//当无数据,active=true
} while ($mrc == CURLM_CALL_MULTI_PERFORM);//当正在接受数据时
while ($active and $mrc == CURLM_OK) {//当无数据时或请求暂停时,active=true
if (curl_multi_select($mh) != -1) {
do {
$mrc = curl_multi_exec($mh, $active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
}
}
foreach ($array as $k => $url) {
if(!curl_errno($conn[$k])){
$data[$k]=curl_multi_getcontent($conn[$k]);//数据转换为array
$header[$k]=curl_getinfo($conn[$k]);//返回http头信息
curl_close($conn[$k]);//关闭语柄
curl_multi_remove_handle($mh , $conn[$k]); //释放资源
}else{
unset($k,$url);
}
}
curl_multi_close($mh);
return $data;
}
//参数接收
$callback = $_GET['callback'];
$hrefs = $_GET['hrefs'];
$urlarray = explode(',',trim($hrefs,','));
$date = date('Ymd',time());
//实例化
$img = new HttpImg();
$stime = $img->getMicrotime();//开始时间
$data = $img->Curl_http($urlarray,'20');//列表数据
mkdir('./img/'.$date,0777);
foreach ((array)$data as $k=>$v){
preg_match_all("/(hrefsrc)=(["']?)([^ "'>]+.(jpgpngPNGJPGgif))\2/i", $v, $matches[$k]);
if(count($matches[$k][3])>0){
$dataimg = $img->Curl_http($matches[$k][3],'20');//全部图片数据二进制
$j = 0;
foreach ((array)$dataimg as $kk=>$vv){
if($vv !=''){
$rand = rand(1000,9999);
$basename = time()."_".$rand.".".jpg;//保存为jpg格式的文件
$fname = './img/'.$date."/"."$basename";
file_put_contents($fname, $vv);
$j++;
echo "创建第".$j."张图片"."$fname"."
";
}else{
unset($kk,$vv);
}
}
}else{
unset($matches);
}
}
$etime = $img->getMicrotime();//结束时间
echo "用时".($etime-$stime)."秒";
exit;
php批量采集电视剧,如何通过PHP多线程批量采集下载远程网站图片代码实例相关推荐
- java多线程下载源码_Java多线程文件分片下载实现的示例代码
多线程下载介绍 多线程下载技术是很常见的一种下载方案,这种方式充分利用了多线程的优势,在同一时间段内通过多个线程发起下载请求,将需要下载的数据分割成多个部分,每一个线程只负责下载其中一个部分,然后将下 ...
- 怎么批量下载pexels网站图片?如何解决该网站的反爬?有人说用pexels 的api接口就可以解决。
梗概:pexels的图片高清度超高,特别适合做桌面图片背景.我在网上搜索了以往爬取pexels图片的代码,没有能完美解决问题的代码可用.主要是人家pexels有反爬,有个认提出用selelium绕过反 ...
- 使用多线程批量处理数据
使用多线程批量处理数据 文章目录 使用多线程批量处理数据 为什么要开启多线程处理?道理很简单,如果处理一千条数据需要10ms,那么串行处理1w条就要100ms,假如开启10个线程同时并发处理,只需要约 ...
- 【相机开发】相机采集、处理、显示多线程开发
文章目录 前言 相机采集多线程开发 相机采集流程 多线程实现 预览线程 图像获取线程 相机处理多线程开发 相机处理流程 多线程实现 相机显示多线程开发 相机显示流程 多线程实现 结语 前言 相机的采集 ...
- PHP多线程批量采集下载图片
PHP多线程批量采集下载图片 博客分类: PHP 使用curl的多线程,另外curl可以设置请求时间,遇到很慢的url资源,可以果断的放弃,这样没有阻塞,另外有多线程请求,效率应该比较高,参考:< ...
- 多线程批量ping服务器
最近由于工作的需要写了个多线程批量ping服务器的脚本,如果服务器down了,自动发报警邮件(可以添加多收件人) 提示:程序网页显示可以能有缩进问题. multithreading_ping_host ...
- Spring多线程批量发送邮件(ThreadPoolTaskExecutor)
1,需求:使用多线程批量发送邮件 需要批量发送邮件大概400封左右,但是因为发送邮件受网络限制,所以经常导致等待超时.所以就想到了使用多线程来发邮件,因为是异步的所以返回结果不受发邮件影响. 2,思路 ...
- java多线程批量读取文件(七)
新公司入职一个多月了,至今没有事情可以做,十来个新同事都一样抓狂,所以大家都自己学习一些新东西,我最近在看zookeeper,感觉蛮不错的,和微服务的zuul以及eureka功能类似,只是代码复杂了一 ...
- python爆破端口_挑战全网多线程批量扫描爆破弱办事端口工具,Python制造专属!...
挑战全网多线程批量扫描&爆破弱办事端口工具,Python制造专属!-1.jpg (29.47 KB, 下载次数: 0) 2018-8-16 17:05 上传 前言 你学习Python的目的是什 ...
最新文章
- 图形推理1000题pdf_笔试|图形推理题满分攻略
- R语言连接MySQL报错:could not run statement: The used command is not allowed with this MySQL version
- Web网站的性能测试工具
- 重磅!6.7亿美元!F5喜提开源服务器Nginx
- python基础之python中if __name__ == '__main__': 的解析
- TDSQL 全时态数据库系统--核心技术
- 警卫站岗(树上dp)
- Wpf中通过绑定来更新textbox的值
- 错误集合_20220131
- python列表到元祖_python列表与元祖
- Linux 系统级开启文件句柄 调优
- 用gulp-imageisux智图api压缩图片
- 10分钟健身法读书笔记(5/5)
- 无处不在的微创新——验证码的故事
- 如何将Excel中以文本形式存储的数字批量快速地转换为数值类型
- pubmedy安装不聊了_摆脱单身全靠这个比Pubmed还6的神器啦~
- 开源是什么以及如何做
- html+css+js简单实现图片轮播效果
- 【Python、数学】计算任意位数的圆周率π(马青公式)
- Pandas、Numpy使用时常见问题
热门文章
- 更新fielddata为true_在pytorch中停止梯度流的若干办法,避免不必要模块的参数更新...
- python猜猜我是几,我在python中猜数游戏的问题
- c++矩阵连乘的动态规划算法并输出_你在Java中用过动态规划吗?
- java宠物健康值_宠物健康微手册:成年篇
- opencv22-直方图均衡化
- Python Pytest前置setup和后置teardown详解
- codeforces 540D Bad Luck Island (概率DP)
- Java 面向对象的设计思维
- PAT1132: Cut Integer
- LeetCode: Convert BST to Greater Tree