php抓取页面生成html,PHP smiple html dom抓取页面内容

之前做页面抓取，数据采集等功能的时候，第一个想到的就是用正则表达式去匹配页面内容。但是对于像我这种，正则只懂皮毛的人来说，写正则是真的很恶心的一件事。去网上找，也不一定能改成自己需要的正则。

今天给大家推荐一个很好用的工具smiple html dom。

文档地址：http://www.phpddt.com/manual/simplehtmldom_1_5/manual.htm

解析器不仅仅只是帮助我们验证html文档；更能解析不符合W3C标准的html文档。它使用了类似jQuery的元素选择器，通过元素的id，class，tag等等来查找定位；同时还提供添加、删除、修改文档树的功能。当然，这样一款强大的html Dom解析器也不是尽善尽美；在使用的过程中需要十分小心内存消耗的情况。不过，不要担心；本文中，笔者在最后会为各位介绍如何避免消耗过多的内存。

下面是我解析的mm131.com的页面内容代码，主要是盗链他的图片，O(∩_∩)O哈哈~

index.php

require './dom/simple_html_dom.php';

require './include/function.php';

//打开错误信息

error_reporting(E_ERROR | E_WARNING | E_PARSE);

$count = 0;

error_reporting(0);

$url = trim(post("url"));

$str = '';

if($url){

$html = new simple_html_dom();

$html->load_file($url.'.html');

$ret = $html->find('.content-pic img');

$title = $html->find("title",0);

echo str_ireplace("www.mm131.com","",iconv("GBK","UTF-8",$title->innertext))."
";

foreach($ret as $v){

if($v->src){

$str .= $v->src."\n";

$count++;

}

flush();

for($i = 2;$i

$html->clear();

$location = $url.'_'.$i.'.html';

if(!GetCurl($location)){

break;

}

$html->load_file($location);

$ret = $html->find('.content-pic img');

foreach($ret as $v){

if($v->src){

$str .= $v->src."\n";

$count++;

}

flush();

}

echo $count;

}

以上3个代码块都是index.php的内容。

其中的require './dom/simple_html_dom.php'; 即引用的simple html dom 解析器。

function.php 只是封装了2个方法代码如下：function GetCurl($url){

$ch = curl_init();

curl_setopt($ch,CURLOPT_URL,$url);

curl_setopt($ch, CURLOPT_HEADER, true);

curl_setopt($ch, CURLOPT_NOBODY,true);

curl_setopt($ch, CURLOPT_RETURNTRANSFER,true);

curl_setopt($ch, CURLOPT_FOLLOWLOCATION,true);

curl_setopt($ch, CURLOPT_AUTOREFERER,true);

curl_setopt($ch, CURLOPT_TIMEOUT,30);

$rtn = curl_exec($ch);

curl_exec($ch);

if(strpos($rtn,'404 Not Found')==true) {

return false;

}

return true;

}

function post($id) {

return isset ( $_POST [$id] ) ? $_POST [$id] : '';

}

如何避免解析器消耗过多内存在本文的开篇中，笔者就提到了Simple HTML DOM解析器消耗内存过多的问题。如果php脚本占用内存太多，会导致网站停止响应等一系列严重的问题。解决的方法也很简单，在解析器加载html文档并使用完成后，记得清理掉这个对象就可以了。当然，也不要把问题看得太严重了。如果只是加载了2、3个文档，清理或不清理是没有多大区别的。当你加载了5个10个甚至更多的文档的时候，用完一个就清理一下内存绝对是对自己负责啦^_^

php抓取页面生成html,PHP smiple html dom抓取页面内容相关推荐

java抓取动态生成的网页
最近在做项目的时候有一个需求:从网页面抓取数据,要求是首先抓取整个网页的html源码(后期更新要使用到).刚开始一看这个简单,然后就稀里哗啦的敲起了代码(在这之前使用过Hadoop平台的分布式爬虫框架 ...
抓取网页生成 PDF
看到自己喜欢的在线文档,是不是总想保存下来慢慢学习.可是苦于没有现成的工具,这里我来介绍两个 JS 类库,只需要简单封装一下,从此想抓哪里抓哪里. 一.使用 Phantomjs 1.简单使用 1 co ...
怎样用java编程抓取动态生成的网页
最近在做项目的时候有一个需求:从网页面抓取数据,要求是首先抓取整个网页的html源码(后期更新要使用到).刚开始一看这个简单,然后就稀里哗啦的敲起了代码(在这之前使用过Hadoop平台的分布式爬虫框架 ...
用Java抓取RSS生成Mobi文件发送到Kindle
最近写了个小工具,通过抓取RSS生成适合Kindle展示的Mobi格式的文件,并发送到Kindle 个人图书馆,也算是继续"自动化"之旅. 代码前前后后写了个把月,趁着放假期间,决 ...
python抓取网页内容到excel_Python实现抓取网页生成Excel文件的方法示例
本文实例讲述了Python实现抓取网页生成Excel文件的方法.分享给大家供大家参考,具体如下: Python抓网页,主要用到了PyQuery,这个跟jQuery用法一样,超级给力示例代码如下: # ...
机械臂论文笔记（一）【基于卷积神经网络的二指机械手抓取姿态生成研究】
基于卷积神经网络的二指机械手抓取姿态生成研究论文下载摘要第1章绪论 1.1 抓取生成国内外研究现状 1.1.1已知物体抓取生成 1.1.2相似物体抓取生成 1.1.3 未知物体抓取生成 1. ...
python抓取腾讯视频弹幕_Python实战 | 如何抓取腾讯视频弹幕
原标题:Python实战 | 如何抓取腾讯视频弹幕当代年轻人的快乐是网络给的. 如果有人吐槽周末太无聊,他们一定会反驳: 是追剧不香吗? 是吃鸡不好玩吗? 周末辣么短,怎么会无聊呢? 诚然,追剧和游 ...
系统检测到您正在使用网页抓取工具_【安全】58反抓取简介
0x00 介绍网络爬虫,常又被称呼为Spider,网络机器人,主要模拟网络交互协议,长时间,大规模的获取目标数据. 普通爬虫会从网站的一个链接开始,不断收集网页资源,同时不断延伸抓取新获取的URL以 ...
asp.net中关于静态页面生成的代码实例
目前网页html静态化是利用其它的动态技术生成html静态页面,还不是静态网站.因为的确是这样的,生成html静态网页有一定的好处. 一.加快页面打开浏览速度,静态页面无需连接数据库教程打开 ...

php抓取页面生成html,PHP smiple html dom抓取页面内容

php抓取页面生成html,PHP smiple html dom抓取页面内容相关推荐

最新文章

热门文章