phpspider中当爬虫获取数据时如何去掉广告

当成功爬取到的网页数据中有很多不相干的html广告标签时, 你是否会感到无可奈何, 有时候即使将XPath的效果发挥到极致, 也无法去掉顽固的html广告标签, 咋整呢?
本节给你介绍通过selector类的remove方法去除html广告标签, 可提取有用数据或清理无用数据.
举个栗子:
在爬取某论坛问答帖时, 发现有很多html广告标签以及一些无用数据, 就需要在on_extract_field回调函数中调用selector的remove方法了
$configs = array(// configs的其他成员...'fields' => array(array('name' => "question_detail",'selector' => "XXX",),),
);
$spider->on_extract_field = function($fieldname, $data, $page)
{if ($fieldname == 'question_detail') {// 将data中符合XPath: "//div[contains(@class,'a_pr')]"的数据去掉$data = selector::remove($data, "//div[contains(@class,'a_pr')]");return $data;}
};
有时, 如果无用数据太多, 最好调用selector的select方法直接将有用的数据提取出来, 这么做会比调用remove方法更加方便.

phpspider中当爬虫获取数据时如何去掉广告相关推荐

vue定时ajax获取数据,vue 中使用 AJAX获取数据的方法
在VUE开发时,数据可以使用jquery和vue-resource来获取数据.在获取数据时,一定需要给一个数据初始值. 看下例: new Vue({ el:'#app', data:{data:&qu ...
爬虫爬数据时，post数据乱码解决办法
最近在写一个爬虫,目标网站是:http://zx.bjmemc.com.cn/,可能是为了防止被爬取数据,它给自身数据加了密.用谷歌自带的抓包工具也不能捕获到数据.于是下了Fiddler. F ...
Python学习——（2）通过网络爬虫获取数据
通过网络爬虫获取数据 1. 和爬虫有关的HTTP HTTP是网络数据通信的基础.在本节中会围绕Python网络爬虫讲述常用HTTP知识点. 1.1 基于HTTP的请求处理流程当用户在浏览器的 ...
eclipse读取mysql数据乱码_eclipse从数据库获取数据时控制台乱码问题
最近在学习HQL的时候,想从数据库获取数据时eclipse控制台乱码,一开始以为是控制台设置的编码有问题,然后就修改了控制台的编码,run->run Configurations->com ...
vue 读取ajax数据,详解vue 中使用 AJAX获取数据的方法
在VUE开发时,数据可以使用jquery和vue-resource来获取数据.在获取数据时,一定需要给一个数据初始值. 看下例: new Vue({ el:'#app', data:{data:&qu ...
(vue)在ajax获取数据时使用loading组件不起作用
问题描述: 在用ajax获取数据时页面没有变化,想用一个loading图标在获取数据时显示,获取完成后隐藏整个系统用到了vue框架,在执行sure方法时调用ajax函数 sure() {conso ...
请求头没有origin参数_在尝试从REST API获取数据时，请求的资源上没有“Access-Control-Allow-Origin”标头...
在尝试从REST API获取数据时,请求的资源上没有"Access-Control-Allow-Origin"标头我试图从HP Alm的REST API中获取一些数据. 它用一个 ...
尝试从REST API获取数据时，请求的资源上没有“ Access-Control-Allow-Origin”标头
本文翻译自:No 'Access-Control-Allow-Origin' header is present on the requested resource-when trying to ge ...
WCF+Restfull服务提交或获取数据时数据大小限制问题解决方案
WCF+Restfull服务提交或获取数据时数据大小限制问题解决方案参考文章: (1)WCF+Restfull服务提交或获取数据时数据大小限制问题解决方案 (2)https://www.cnbl ...

phpspider中当爬虫获取数据时如何去掉广告

phpspider中当爬虫获取数据时如何去掉广告相关推荐

最新文章

热门文章