PHP爬虫之phpspider

1. composer require owner888/phpspider 下载包

2.自动化抓取

use phpspider\core\phpspider;
$configs = array( 'name' => '糗事百科', 'domains' => array( 'qiushibaike.com', 'www.qiushibaike.com' ), 'scan_urls' => array( 'http://www.qiushibaike.com/' ), 'content_url_regexes' => array( "http://www.qiushibaike.com/article/\d+" ), 'list_url_regexes' => array( "http://www.qiushibaike.com/8hr/page/\d+\?s=\d+" ), 'fields' => array( array( // 抽取内容页的文章内容 'name' => "article_content", 'selector' => "//*[@id='single-next-link']", 'required' => true ), array( // 抽取内容页的文章作者 'name' => "article_author", 'selector' => "//div[contains(@class,'author')]//h2", 'required' => true ), ), );

$spider = new phpspider($configs);//实例化

$spider->start();

3.自定义抓取 + XPath选择

use phpspider\core\requests;   //phpspider下的requests
use phpspider\core\selector;

$url = 'https://xxx.com/r17678.html';

$html = requests::get($url);

$href = selector::select($html,'//div[@class="chapter"]/a/@href');

PHP爬虫之phpspider相关推荐

[学]PHP爬虫框架phpspider
[学]PHP爬虫框架phpspider http://www.phpchina.com/article-40283-2.html http://www.111cn.net/phper/php-gj/6 ...
PHP爬虫框架phpspider(一) - 下载安装
该框架还是挺强大的,就是爬取规则采用的是Xpath语法,没有python的bs4库那么易用. github地址随便找个目录即可,不依赖于apache等. 克隆 git clone https://g ...
旅游景点人流量代码php,用 PHP 爬虫做旅游数据分析
随着物质的提高,旅游渐渐成为人们的焦点,火热的国庆刚刚过去,乘着这股余热,我想很多人都想知道,大家一般会去哪里玩呢,于是我花了10分钟写了一个采集马蜂窝游记的小程序,当然速度能有这么快,完全依赖于PH ...
爬虫 php网页数据分析,用 PHP 爬虫做旅游数据分析
声明: 采集程序只做技术研究使用,切不可做出格的事以免惹来麻烦首先感谢广大网友的支持,现将源代码公开,地址如下: https://github.com/owner888/phpspider gith ...
利用爬虫爬取看看豆网站站的数据信息
其实很早我就开始关注爬虫技术,这两天特别学习了一下,并且做了一个简单的demo.爬取了看看豆网站的数据信息.总共11751本书,爬取了不到3个小时,基本每秒爬取1条.速度慢的原因主要是单线程,使用my ...
暑假到了，是一个旅游旺季，用 PHP 爬虫做旅游数据分析，让我们更好的外出旅行吧！
用 PHP 爬虫做旅游数据分析声明: 采集程序只做技术研究使用,切不可做出格的事以免惹来麻烦首先感谢广大网友的支持,现将源代码公开,地址如下: https://github.com/owner88 ...
爬虫数据+php,用 PHP 爬虫做旅游数据分析
(点击上方公号,可快速关注) 作者:伯乐在线专栏作者 - 杨泽涛网址:http://blog.jobbole.com/106623/ 声明: 采集程序只做技术研究使用,切不可做出格的事以免惹来麻烦 ...
PHP 优秀资源汇集(转)
文章目录原文地址: https://shockerli.net/post/php-awesome/ GitHub: https://github.com/shockerli/php-awesome ...
php spider 开发文档,开发PHPSpider爬虫的常用工具
# 开发PHPSpider爬虫的常用工具 # 开发PHPSpider爬虫的常用工具 > "工欲善其事,必先利其器",开发PHPSpider爬虫,起码得有几件顺手的工具才行吧, ...
phpspider php爬虫框架
其实我自身的不是经常写正则,而且不规则的html去写正则本身就是件很麻烦的事情,如果页面有些微变动和更新就得再次去维护正则表达式,其实是非常蛋疼的我第一感觉就是去找一下爬虫的库,但是发现现在php爬 ...

PHP爬虫之phpspider

PHP爬虫之phpspider相关推荐

最新文章

热门文章