phpquery类php,一个基于phpQuery的php通用采集类分享
一、采集类源码<?php
/**
*通用列表采集类
*版本V1.3
*作者:JAE
*/
require_once '../phpQuery/phpQuery/phpQuery.php';
class QueryList{
private $pageURL;
private $regArr = array();
public $jsonArr = array();
private $regRange;
private $html;
/************************************************
* 参数: 页面地址 选择器数组 块选择器
* 【选择器数组】说明:格式array("名称"=>array("选择器","类型"),.......)
* 【类型】说明:值 "text" ,"html" ,"属性"
*【块选择器】:指 先按照规则 选出 几个大块 ,然后再分别再在块里面 进行相关的选择
*************************************************/
function QueryList($pageURL,$regArr=array(),$regRange='')
{
$this->pageURL = $pageURL;
//为了能获取https://
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL,$this->pageURL);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
$this->html = curl_exec($ch);
curl_close($ch);
if(!empty($regArr))
{
$this->regArr = $regArr;
$this->regRange = $regRange;
$this->getList();
}
}
function setQuery($regArr,$regRange='')
{
$this->jsonArr=array();
$this->regArr = $regArr;
$this->regRange = $regRange;
$this->getList();
}
private function getList()
{
$hobj = phpQuery::newDocumentHTML($this->html);
if(!empty($this->regRange))
{
$robj = pq($hobj)->find($this->regRange);
$i=0;
foreach($robj as $item)
{
while(list($key,$reg_value)=each($this->regArr))
{
$iobj = pq($item)->find($reg_value[0]);
switch($reg_value[1])
{
case 'text':
$this->jsonArr[$i][$key] = trim(pq($iobj)->text());
break;
case 'html':
$this->jsonArr[$i][$key] = trim(pq($iobj)->html());
break;
default:
$this->jsonArr[$i][$key] = pq($iobj)->attr($reg_value[1]);
break;
}
}
//重置数组指针
reset($this->regArr);
$i++;
}
}
else
{
while(list($key,$reg_value)=each($this->regArr))
{
$lobj = pq($hobj)->find($reg_value[0]);
$i=0;
foreach($lobj as $item)
{
switch($reg_value[1])
{
case 'text':
$this->jsonArr[$i++][$key] = trim(pq($item)->text());
break;
case 'html':
$this->jsonArr[$i++][$key] = trim(pq($item)->html());
break;
default:
$this->jsonArr[$i++][$key] = pq($item)->attr($reg_value[1]);
break;
}
}
}
}
}
function getJSON()
{
return json_encode($this->jsonArr);
}
}
二、使用例子
require 'Query/QueryList.class.php';
//采集OSC的代码分享列表,标题 链接 作者
$url = "http://www.oschina.net/code/list";
$reg
= array("title"=>array(".code_title
a:eq(0)","text"),"url"=>array(".code_title
a:eq(0)","href"),"author"=>array("img","title"));
$rang = ".code_list li";
$hj = new QueryList($url,$reg,$rang);
$arr = $hj->jsonArr;
print_r($arr);
//如果还想采当前页面右边的 TOP40活跃贡献者 图像,得到JSON数据,可以这样写
$reg = array("portrait"=>array(".hot_top img","src"));
$hj->setQuery($reg);
$json = $hj->getJSON();
echo $json . "
";
//采OSC内容页内容
$url = "http://www.oschina.net/code/snippet_186288_23816";
$reg = array("title"=>array(".QTitle h1","text"),"con"=>array(".Content","html"));
$hj = new QueryList($url,$reg);
$arr = $hj->jsonArr;
print_r($arr);
phpquery类php,一个基于phpQuery的php通用采集类分享相关推荐
- 天猫php采集列表,QueryList: QueryList是一个基于phpQuery的通用列表采集类,是一个简单、 灵活、强大的采集工具,采集任何复杂的页面 基本上就一句话就能搞定了。...
#QueryList交流社区: http://querylist.cc/ #QueryList文档: http://doc.querylist.cc/ #QueryList交流QQ群:12326696 ...
- html页面发送微信朋友圈,【源码分享】分享一个基于官方share.html简化的分享js代码(微信,朋友圈,QQ)...
基于官方demo中的share.hml中的分享内容或者链接到微博,微信,QQ,自己简化了一个通用的分享方法,进一步减少分享功能的开发量. 代码附件中,由于不能上传html文件,所以把文件扩展名改成了d ...
- 一个基于Python数据大屏可视化开源项目
今天给大家介绍一个开源数据大屏可视化工具. 项目简介 这是一个基于Python开发的,结构简单的项目.可通过配置Json的数据,实现数据报表大屏显示. 优点:代码清晰.结构简单.配置Json数据 ...
- 一个基于C#开发的Excel转Json工具
Json在程序开发中是非常常用的数据格式,对于程序员来说,阅读和编辑Json都没有什么问题,但其他人就不是那么方便了.比如配置游戏数据:游戏角色.技能.道具的名称,策划书往往都是通过Excel配置,这 ...
- 一个基于.Net+Vue开发的开源权限工作流系统
今天给大家推荐一个开源权限工作流系统,一个快速开发框架. 项目简介 这是一个基于.Net 5开发的权限管理.工作流系统框架.借鉴了Martin Fowler企业级应用开发思想,框架选项都是使用最新的技 ...
- QueryList是一套简洁、优雅的PHP采集工具(爬虫),基于phpQuery。
QueryList是一套简洁.优雅的PHP采集工具(爬虫),基于phpQuery. 特性: 拥有与jQuery完全相同的CSS3 DOM选择器 拥有与jQuery完全相同的DOM操作API 拥有通用的 ...
- python中的新式类与旧式类的一些基于descriptor的概念(下)
3. Descriptor介绍 3.1 Descriptor代码示例 3.2 定义 3.3 Descriptor Protocol(协议) 3.4 Descriptor调用方法 4. 基于Descri ...
- 怎样用cocos2d-x做一个基于地图块的游戏(Part One)
怎样用cocos2d-X做一个基于地图块的游戏 (Part One) 在这个分为上下两部分的教程中,我们将介绍如何使用Cocos2D-X和地图编辑器做一款基于地图块的游戏.在这个简单的地图块游戏里,一 ...
- 提供一个基于.NET的加密/解密算法
提供一个基于.NET SymmetricAlgorithm 类的.带私钥的加密/解密算法的包装类.使用方法: symmcrypto de = new SymmCrypto(SymmCrypto.Sym ...
最新文章
- 双圆弧插值算法(三,代码实现)
- Swift4 String截取字符串
- Pandas/networkx图分析简单入门
- Doc命令收集(一)
- 关于 SAP 电商云 Spartacus UI 修改 div 层级结果是否算是 breaking change 的问题
- xpath和css selector
- mysql 设置 0、1 用什么数据类型_MySQL数据库教程-数据表字段约束
- 【Elasticsearch】如何使用minimum_should_match
- C++_函数_函数的占位参数_函数重载---C++语言工作笔记034
- Delphi调用C#的加密解密(Base64/AES/DES/MD5可扩充)
- 如何进行ASP.NET MVC 的测试
- ios控制中心android版,IOS控制中心
- ActivityGroup的使用
- 工控协议——S7通讯协议
- 搭建一个 软件授权码管理系统
- 宏碁电脑怎么快速重装Win11系统?
- 上传文件到OOS服务器
- java编写分数加减法_JAVA 分数加减法
- 为12306说几句好话
- 创建物料凭证 BAPI_GOODSMVT_CREATE
热门文章
- 第2讲 | 网络分层的真实含义是什么?
- 3.1 cat:合并文件或查看文件内容
- mysql5.7+proxy_mysql5.7使用ProxySQL实现读写分离
- elementui进度条如何设置_vue.js+ElementUI实现进度条提示密码强度效果
- salt-api配置
- 【直播回看】「EDGE X Kubernetes · 云原生在边缘的实践与应用」
- 大文件下载及视频点播的CDN加速实践
- 如何用好云原生数据湖?
- 生产可用:是时候来一个微前端架构了!
- Laravel_post访问【419】问题解决方法