1.根据关键字采集百度搜寻结果

根据关键字采集百度搜寻结果,可以使用curl实现,代码如下:

<?php function doCurl($url, $data=array(), $header=array(), $timeout=30){ $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_HTTPHEADER, $header); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); curl_setopt($ch, CURLOPT_TIMEOUT, $timeout); $response = curl_exec($ch); if($error=curl_error($ch)){ die($error); } curl_close($ch); return $response; } $wd = '仙剑奇侠传'; $url = 'http://www.baidu.com/s?wd='.urlencode($wd); $data = array(); $header = array(); $response = doCurl($url, $data, $header, 5); echo $response; ?>

输出后发现有部分图片不能显示

2.采集后的图片不显示原因分析

直接在百度中搜寻,页面是可以显示图片的。使用firebug查看图片路径,发现采集的图片域名与在百度搜寻的图片域名不同。

采集返回的图片域名 t11.baidu.com

正常搜寻的图片域名 ss1.baidu.com

查看采集与正常搜寻的html,发现有个域名转换的js是不一样的

采集

var list = {"graph.baidu.com": "http://graph.baidu.com","t1.baidu.com":"http://t1.baidu.com","t2.baidu.com":"http://t2.baidu.com","t3.baidu.com":"http://t3.baidu.com","t10.baidu.com":"http://t10.baidu.com","t11.baidu.com":"http://t11.baidu.com","t12.baidu.com":"http://t12.baidu.com","i7.baidu.com":"http://i7.baidu.com","i8.baidu.com":"http://i8.baidu.com","i9.baidu.com":"http://i9.baidu.com",
};

正常搜寻

var list = {"graph.baidu.com": "https://sp0.baidu.com/-aYHfD0a2gU2pMbgoY3K","t1.baidu.com":"https://ss0.baidu.com/6ON1bjeh1BF3odCf","t2.baidu.com":"https://ss1.baidu.com/6OZ1bjeh1BF3odCf","t3.baidu.com":"https://ss2.baidu.com/6OV1bjeh1BF3odCf","t10.baidu.com":"https://ss0.baidu.com/6ONWsjip0QIZ8tyhnq","t11.baidu.com":"https://ss1.baidu.com/6ONXsjip0QIZ8tyhnq","t12.baidu.com":"https://ss2.baidu.com/6ONYsjip0QIZ8tyhnq","i7.baidu.com":"https://ss0.baidu.com/73F1bjeh1BF3odCf","i8.baidu.com":"https://ss0.baidu.com/73x1bjeh1BF3odCf","i9.baidu.com":"https://ss0.baidu.com/73t1bjeh1BF3odCf",
};

因此可以断定是,百度根据来源地址、IP、header等参数,判断如果是采集的,则返回不同的js。

3.采集后图片不显示的解决方法

把采集到的html,根据定义的域名做一次批量转换即可。

<?php
function doCurl($url, $data=array(), $header=array(), $timeout=30){$ch = curl_init();curl_setopt($ch, CURLOPT_URL, $url);curl_setopt($ch, CURLOPT_HTTPHEADER, $header);curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);$response = curl_exec($ch);if($error=curl_error($ch)){die($error);}curl_close($ch);return $response;
}// 域名转换
function cdomain($str){$baidu_domain = '{"http://graph.baidu.com": "https://sp0.baidu.com/-aYHfD0a2gU2pMbgoY3K","http://p.qiao.baidu.com":"https://sp0.baidu.com/5PoXdTebKgQFm2e88IuM_a","http://vse.baidu.com":"https://sp3.baidu.com/6qUDsjip0QIZ8tyhnq","http://hdpreload.baidu.com":"https://sp3.baidu.com/7LAWfjuc_wUI8t7jm9iCKT-xh_","http://lcr.open.baidu.com":"https://sp2.baidu.com/8LUYsjW91Qh3otqbppnN2DJv","http://kankan.baidu.com":"https://sp3.baidu.com/7bM1dzeaKgQFm2e88IuM_a","http://xapp.baidu.com":"https://sp2.baidu.com/yLMWfHSm2Q5IlBGlnYG","http://dr.dh.baidu.com":"https://sp0.baidu.com/-KZ1aD0a2gU2pMbgoY3K","http://xiaodu.baidu.com":"https://sp0.baidu.com/yLsHczq6KgQFm2e88IuM_a","http://sensearch.baidu.com":"https://sp1.baidu.com/5b11fzupBgM18t7jm9iCKT-xh_","http://s1.bdstatic.com":"https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K","http://olime.baidu.com":"https://sp0.baidu.com/8bg4cTva2gU2pMbgoY3K","http://app.baidu.com":"https://sp2.baidu.com/9_QWsjip0QIZ8tyhnq","http://i.baidu.com":"https://sp0.baidu.com/74oIbT3kAMgDnd_","http://c.baidu.com":"https://sp0.baidu.com/9foIbT3kAMgDnd_","http://sclick.baidu.com":"https://sp0.baidu.com/5bU_dTmfKgQFm2e88IuM_a","http://nsclick.baidu.com":"https://sp1.baidu.com/8qUJcD3n0sgCo2Kml5_Y_D3","http://sestat.baidu.com":"https://sp1.baidu.com/5b1ZeDe5KgQFm2e88IuM_a","http://eclick.baidu.com":"https://sp3.baidu.com/-0U_dTmfKgQFm2e88IuM_a","http://api.map.baidu.com":"https://sp2.baidu.com/9_Q4sjOpB1gCo2Kml5_Y_D3","http://ecma.bdimg.com":"https://ss1.bdstatic.com/-0U0bXSm1A5BphGlnYG","http://ecmb.bdimg.com":"https://ss0.bdstatic.com/-0U0bnSm1A5BphGlnYG","http://t1.baidu.com":"https://ss0.baidu.com/6ON1bjeh1BF3odCf","http://t2.baidu.com":"https://ss1.baidu.com/6OZ1bjeh1BF3odCf","http://t3.baidu.com":"https://ss2.baidu.com/6OV1bjeh1BF3odCf","http://t10.baidu.com":"https://ss0.baidu.com/6ONWsjip0QIZ8tyhnq","http://t11.baidu.com":"https://ss1.baidu.com/6ONXsjip0QIZ8tyhnq","http://t12.baidu.com":"https://ss2.baidu.com/6ONYsjip0QIZ8tyhnq","http://i7.baidu.com":"https://ss0.baidu.com/73F1bjeh1BF3odCf","http://i8.baidu.com":"https://ss0.baidu.com/73x1bjeh1BF3odCf","http://i9.baidu.com":"https://ss0.baidu.com/73t1bjeh1BF3odCf","http://b1.bdstatic.com":"https://ss0.bdstatic.com/9uN1bjq8AAUYm2zgoY3K","http://ss.bdimg.com":"https://ss1.bdstatic.com/5aV1bjqh_Q23odCf","http://opendata.baidu.com":"https://sp0.baidu.com/8aQDcjqpAAV3otqbppnN2DJv","http://api.open.baidu.com":"https://sp0.baidu.com/9_Q4sjW91Qh3otqbppnN2DJv","http://tag.baidu.com":"https://sp1.baidu.com/6LMFsjip0QIZ8tyhnq","http://f3.baidu.com":"https://sp2.baidu.com/-uV1bjeh1BF3odCf","http://s.share.baidu.com":"https://sp0.baidu.com/5foZdDe71MgCo2Kml5_Y_D3",    "http://bdimg.share.baidu.com":"https://ss1.baidu.com/9rA4cT8aBw9FktbgoI7O1ygwehsv","http://1.su.bdimg.com":"https://ss0.bdstatic.com/k4oZeXSm1A5BphGlnYG","http://2.su.bdimg.com":"https://ss1.bdstatic.com/kvoZeXSm1A5BphGlnYG","http://3.su.bdimg.com":"https://ss2.bdstatic.com/kfoZeXSm1A5BphGlnYG","http://4.su.bdimg.com":"https://ss3.bdstatic.com/lPoZeXSm1A5BphGlnYG","http://5.su.bdimg.com":"https://ss0.bdstatic.com/l4oZeXSm1A5BphGlnYG","http://6.su.bdimg.com":"https://ss1.bdstatic.com/lvoZeXSm1A5BphGlnYG","http://7.su.bdimg.com":"https://ss2.bdstatic.com/lfoZeXSm1A5BphGlnYG","http://8.su.bdimg.com":"https://ss3.bdstatic.com/iPoZeXSm1A5BphGlnYG"}';$domain = json_decode($baidu_domain, true);foreach($domain as $k=>$v){$str = str_replace($k, $v, $str);}return $str;
}$wd = '仙剑奇侠传';
$url = 'http://www.baidu.com/s?wd='.urlencode($wd);
$data = array();
$header = array();$response = doCurl($url, $data, $header, 5);
echo cdomain($response); // 调用域名转换
?>

增加域名转换后,所有的图片都可以正常显示。

采集百度搜寻结果,图片不显示的解决方法相关推荐

  1. php搜索图片不显示不出来了,PHP CURL采集百度搜寻结果图片不显示问题的解决方法【第1/4页】...

    1.根据关键字采集百度搜寻结果 根据关键字采集百度搜寻结果,可以使用curl实现,代码如下:<?php function doCurl($url, $data=array(), $header= ...

  2. android百度地图覆盖物异步加载图片,Android 百度地图marker中图片不显示的解决方法(推荐)...

    目的: 根据提供的多个经纬度,显示所在地的marker样式,如下: 问题: 1.发现marker中在线加载的图片无法显示出来: 2.获取多个对象后,却只显示出了一个marker: 以下为官网实现方法: ...

  3. dedecms织梦系统后台验证码图片不显示的解决方法

    dedecms织梦系统后台验证码图片不显示的解决方法 参考文章: (1)dedecms织梦系统后台验证码图片不显示的解决方法 (2)https://www.cnblogs.com/afish/p/40 ...

  4. 微信小程序—swiper轮播图图片不显示的解决方法

    swiper轮播图图片不显示的解决方法 遇到图片无法显示的问题,是样式问题 在wxss里面新型修改 设置宽度 .container{width: 750rpx; } .container swiper ...

  5. java显示一张图片不显示_微信图片不可显示java解决方法

    场景: 微信上传了图片素材,返回了图片url,然后不能在img标签中正常显示. 原因是微信做了图片防盗连接. 解决方法: 原理:使用你的服务端脚本,远程抓取图片,然后输出image/* 格式,就可以了 ...

  6. 小程序图片不显示的解决方法

    小程序图片不显示的解决方法 检查图片命名是否为英文 图片是否使用image标签加载的 背景图片不能使用本地图片地址 图片名有没有空格

  7. vue项目引入本地图片不显示的解决方法

    一般情况我们引入图片方式: 这样传过去的图片地址,在页面无法显示: 解决方法:使用 require <template><div class="logo"> ...

  8. 痞子衡博客园主页文章图片无法显示的解决方法

    大家好,我是痞子衡,是正经搞技术的痞子. 众所周知,痞子衡主要是在博客园个人主页精心维护文章发布.修改更新以及最重要的目录索引. 个人主页: https://www.cnblogs.com/henja ...

  9. php网页第一张图片不显示不出来了_网页图片不能显示|网页不显示图片|网页图片显示不出来 - 网页图片无法显示的解决方法 - 安全专题...

    网络上丰富的图文资源极大地丰富了我们的生活,也提供了许多生动的信息.然而,许多网友在浏览网页时遇到网页图片不能显示的问题,给网络应用带来了很大的不便.造成网页图片不能显示的原因很多,现在,我们通过多种 ...

  10. Chrome浏览器图片不显示怎么办 解决方法分享

    图片无法正常显示的情况,相信不少经常上网的朋友都曾遇到过.值得一提的是,这种情况大部分都与浏览器本身的缓存文件过多有关!那么,该怎么解决这一问题呢?下面小编就以"Chrome浏览器图片&qu ...

最新文章

  1. IIS 之 添加绑定域名 或 设置输入IP直接访问网站
  2. 经典算法题每日演练——第二十二题 奇偶排序
  3. WINDOWS XP常用的快捷键组合?
  4. 基于RSSI利用KNN位置指纹法的室内定位(卡尔曼滤波)及代码
  5. python基础之python中if __name__ == '__main__': 的解析
  6. TikTok面临用户流失、苹果iOS14公测、无代码定义下一代软件等| Decode the Week
  7. 人工神经网络之激活函数总结
  8. 采用redis+ThreadLocal获取全局的登录用户信息(一)
  9. Access denied for user 'root'@'localhost' (using password: YES) 问题解决小记
  10. 【Jetson Nano学习笔记】2. ORB-SLAM3及ZED 2i驱动安装
  11. Laravel框架开发规范-修订版
  12. mysql优化--叶金荣老师讲座笔记
  13. C语言控制台应用程序绘制曲线,C语言控制台绘制曲线的实现代码
  14. springcloud断路器修改熔断时间_SpringCloud(四)Hystrix服务降级,服务熔断
  15. 区间直觉模糊集相似度及matlab应用
  16. 指派问题的遗传算法求解 Java实现
  17. MapReduce之简单K-mer计数
  18. 使用python进行数据清洗常用的库_用于格式化和数据清理的便捷Python库
  19. python计算卡方值代码,python 基于卡方值分箱算法的实现示例
  20. java tire树_谢特——后缀数组+tire 树(示例代码)

热门文章

  1. JavaScript——onblur事件失效问题解决方案
  2. IT职业技能图谱:IT工程师学习路线
  3. 【阿朱标红】参与感(3):新媒体营销篇
  4. win10台式怎么调节电脑屏幕亮度
  5. 什么是南桥芯片和北桥芯片?南桥芯片和北桥芯片区别
  6. 一起来学SpringCloud之 - 服务认证(JWT)
  7. SQL Server的3种恢复模式(Simple,Full,Bulk-logged)
  8. 抖音 iOS 推荐 Feed 容器化总结
  9. RN版UiTableView(带sessionHeaderView)并加载多层json数据
  10. Behavior(行为)