PHP如何实现抓取百度搜索结果并分析数据结构

发布时间：2020-09-26 09:26:19

来源：亿速云

阅读：95

作者：小新

这篇文章主要介绍PHP如何实现抓取百度搜索结果并分析数据结构，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！

PHP网络爬虫实践：抓取百度搜索结果，并分析数据结构

百度的搜索引擎有反爬虫机制，我先直接用guzzle试试水。代码如下：<?php

/**

* Created by Benjiemin

* Date: 2020/3/5

* Time: 14:58

*/

require ('./vendor/autoload.php');

use QL\QueryList;

//进入网页

$jar = new \GuzzleHttp\Cookie\CookieJar;

$client = new GuzzleHttp\Client(['cookies' => true]);

$ql = $client->request('GET', 'https://www.baidu.com', [

'cookies' => $jar

]);

if($ql->getStatusCode()!=200){

echo '网站状态不正常';die;

}

echo $ql->getBody();

百度直接拦截了，进了跳转页面，我试试加个浏览器头文件，再试试。

修改后的header如下：$ql = $client->request('GET', 'https://www.baidu.com', [

'cookies' => $jar,

'headers' => [

'Accept-Encoding' => 'gzip, deflate, br',

'Accept' => 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',

'Accept-Language' => 'zh-CN,zh;q=0.9,en;q=0.8',

'Cache-Control' => 'no-cache',

'Connection' => 'keep-alive',

'User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',

]

]);

我测试了下，网站打开了。

我们继续，输入关键词，并搜索,结果发现被安全拦截了，所以我感觉直接用GuzzleHttp搞不动，于是我继续我的神器：jaeger/querylist和jaeger/querylist-puppeteer。

安装步骤：

1.安装依赖

在这之前，要先启用php的proc_open函数，否则无法安装完整composer install jaeger/querylist

composer install jaeger/querylist-puppeteer

2.安装nodejsyum install nodejs

3.安装npm

4.安装@nesk/puphpeteernpm install @nesk/puphpeteer

5.PHP启用proc_open

代码如下：<?php

/**

* Created by Benjiemin

* Date: 2020/3/5

* Time: 14:58

*/

require ('./vendor/autoload.php');

use QL\QueryList;

use QL\Ext\Chrome;

$ql = QueryList::getInstance();

// 注册插件，默认注册的方法名为: chrome

$ql->use(Chrome::class);

$ql->chrome(function ($page,$browser) {

$page->goto('https://www.baidu.com');

// 这里故意设置一个很长的延长时间，让你可以看到chrome浏览器的启动

sleep(3);

//输入关键词

$wd = '简庆旺博客';

$page->type("input[id='kw']",$wd);

sleep(1);

//点击搜索

$page->click("input[type='submit']");

//等待搜索结果

sleep(3);

//获取结果

$html = $page->content();

//用jquery选择器抽取结果

$rules = array(

'title'=>['#content_left h4 a','text'],//标题

'url'=>['#content_left h4 a','href'],//跳转网址

'description'=>['div .c-abstract','text'],//描述

);

$ql = QueryList::html($html);

$rt = $ql->rules($rules)->query()->getData();

//如果有需要，可以把$rt入库，以及做其他操作

sleep(10);

$browser->close();

// 返回值一定要是页面的HTML内容

return $html;

},[

'headless' => false, // 启动可视化Chrome浏览器,方便调试

'devtools' => false, // 打开浏览器的开发者工具

])->find('title')->text();

$rt是我的结果集合，打印下，如下

以上是PHP如何实现抓取百度搜索结果并分析数据结构的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注亿速云行业资讯频道！