利用PHP制作简单的内容采集器

利用PHP制作简单的内容采集器

作者：yzxh24 阅读人次：…… 文章来源：天极论坛整理发布时间：2018/4/23 网友评论()条

　　采集器，通常又叫小偷程序，主要是用来抓取别人网页内容的。关于采集器的制作，其实并不难，就是远程打开要采集的网页，然后用正则表达式将需要的内容匹配出来，只要稍微有点正则表达式的基础，都能做出自己的采集器来的。

　　前几天做了个小说连载的程序，因为怕更新麻烦，顺带就写了个采集器，采集八路中文网的，功能比较简单，不能自定义规则，不过大概思路都在里面了，自定义规则可以自己来扩展。

　　用php来做采集器主要用到两个函数：file_get_contents()和preg_match_all()，前一个是远程读取网页内容的，不过只在php5以上的版本才能用，后一个是正则函数，用来提取需要的内容的。

　　下面就一步一步来讲功能实现。

　　因为是采集小说，所以首先要将书名、作者、类型这三个提取出来，别的信息可根据需要提取。

　　这里以《回到明朝当王爷》为目标，先打开书目页，链接：http://www.86zw.com/Book/3727/Index.aspx

　　多打开几本书会发现，书名的基本格式是：http://www.86zw.com/Book/书号/Index.aspx，于是我们可以做一个开始页，定义一个<input type=text name=number>，用来输入需要采集的书号，以后就可以通过$_POST[‘number’]这种格式来接收需要采集的书号了。接收到书号，下面要做的就是构造书目页：$url=http://www.86zw.com/Book/$_POST[‘number’]/Index.aspx，当然这里是举个例子，主要是为了讲解方便，实际制作的时候最好检查一下$_POST[‘number’]的合法性。

　　构造好URL以后就可以开始采集书籍信息了。使用file_get_contents() 函数打开书目页：$content=file_get_contents（$url），这样就能将书目页的内容都读取出来了。接下来就是将书名、作者和类型等信息匹配出来了。这里就以书名为例，其他的都一样。打开书目页，查看源文件，找到“<span class="booktitle">《回到明朝当王爷》</span>”，这就是要提取出来的书名了。提取书名的正则表达式：/<span class=\"newstitle\">(.*?)\<\/span>/is，使用preg_match_all()函数将书名取出：preg_match_all("/<span class=\"newstitle\">(.*?)\<\/span>/is",$contents,$title);这样$title[0][0]的内容就是我们要的标题了（preg_match_all函数的用法可以去百度查，这里就不详细说明了）。取出了书籍信息，接下来就是取章节内容了，要取章节内容，首先要做的就是找到每一章的地址，然后远程打开章节，用正则将内容取出来，入库或者直接生成html静态文件。这个是章节列表的地址：http://www.86zw.com/Html/Book/18/3727/List.shtm，可以看出这个和书目页一样，是有规律可寻的：http://www.86zw.com/Html/Book/分类号/书号/List.shtm。书号前面已经取得，这里的关键是找到分类号，分类号可以在前面的书目页找到，提取分类号：

　　preg_match_all("/Html\/Book\/[0-9]{1,}\/[0-9]{1,}\/List\.shtm/is",$contents,$typeid);这样还不够，还需要一个切取函数：

　　[复制PHP代码] [ - ]PHP代码如下:

function cut($string,$start,$end){
$message = explode($start,$string);
$message = explode($end,$message[1]); return $message[0];}其中$string为要被切取的内容，$start为开始的地方，$end为结束的地方。取出分类号：

$start = "Html/Book/";
$end
= "List.shtm";
$typeid = cut($typeid[0][0],$start,$end);
$typeid = explode("/",$typeid);[/php]

　　这样，$typeid[0]就是我们要找的分类号了。接下来就是构造章节列表的地址了：$chapterurl = http://www.86zw.com/Html/Book/.$typeid[0]/$_POST[‘number’]/List.shtm。有了这个就能找到每一章节的地址了。方法如下：

$ustart = "\"";
$uend
= "\"";
//t表示title的缩写
$tstart = ">";
$tend
= "<";
//取路径,例如:123.shtm,2342.shtm,233.shtm
preg_match_all("/\"[0-9]{1,}\.(shtm)\"/is",$chapterurl,$url);
//取标题,例如:第一章九世善人
preg_match_all("/<a href=\"[0-9]{1,}\.shtm\"(.*?)\<\/a>/is",$file,$title);
$count = count($url[0]);
for($i=0;$i<=$count;$i++)
{
$u = cut($url[0][$i],$ustart,$uend);
$t = cut($title[0][$i],$tstart,$tend);
$array[$u] = $t;
}

　　$array数组就是所有的章节地址了，到这里，采集器就完成一半了，剩下的就是循环打开每个章节地址，读取，然后将内容匹配出来。这个比较简单，这里就不详细叙述了。好了，今天就先写到这吧，第一次写这么长的文章，语言组织方面难免有问题，还请大家多包涵！

http://www.jphgd.com.cn/
http://www.jphgd.com.cn/chandizheng/
http://www.jphgd.com.cn/jiaqian/
http://www.jphgd.com.cn/about.html
http://www.jphgd.com.cn/news/

利用PHP制作简单的内容采集器相关推荐

利用PHP制作简单的内容采集器的原理分析
利用PHP制作简单的内容采集器的原理分析 2008-12-12 11:24 前几天做了个小说连载的程序,因为怕更新麻烦,顺带就写了个采集器,采集八路中文网的,功能比较简单,不能自定义规则,不过大概思路 ...
java制作mp3_利用java制作简单的音乐播放器
本文主要是用到java中的swing技术,以及JMFjar中的API,为大家分享了java音乐播放器的具体实现代码,供大家参考,具体内容如下备注:需要用JDK1.8才能播放音乐MP3 package ...
最简单的免费采集器——易数云
最简单的免费采集器--易数云采集器为什么说易数云采集器简单呢?这个采集器已经包含有大量的采集规则,对于小白来说简直是轻松上手而且当前采集器还属于迭代中客服非常的认证几乎达到一对一服务,当前采集器拥有 ...
利用DW制作简单的LOGO / 以及对CSS选择器的了解
利用DW制作简单的LOGO 创建新的文件夹(Ctrl+shift+N) 了解CSS选择器 1.CSS选择器的分类其中第三种id选择器是用的最多的,今天我们也要用到id选择器. 2.CSS是什么呢? ...
PHP内容采集器(PHP小偷程序)
采集器,通常又叫小偷程序,主要是用来抓取别人网页内容的.关于采集器的制作,其实并不难,就是远程打开要采集的网页,然后用正则表达式将需要的内容匹配出来,只要稍微有点正则表达式的基础,都能做出自己的采集器 ...
利用Python制作简单的小程序：IP查看器
前言说实话,查看电脑的IP,也挺无聊的,但是够简单,所以就从这里开始吧.IP地址在操作系统里就可以直接查看.但是除了IP地址,我们也想通过IP获取地理地址和网络运营商情况.IP地址和地理地址并没有固 ...
利用python制作简单播放器
在这里可以制作小播放器的界面,objectName 是每一个图片,图标每一个部位的名字,它们每个地方都有一个属于自己的小名字. windowtitle 可以为自己的小播放器取一个好听又可爱的名字. w ...
PHP制作音乐播放器制作教案,js制作简单的音乐播放器的示例代码
一.设计目的: 1.随着现在人民生活质量的提高同样伴随着生活压力的增大,越来越多的人追求越来越多的娱乐,其中一种娱乐方式就是音乐,于是突发奇想,制作一个音乐播放器. 2.主要功能: 1 支持循环自动播 ...
简单的图片采集器（网络爬虫原理）
1.学习目的:熟悉java类集以及IO流操作,为图片识别做采集铺垫 2.对象网站:http://www.ivsky.com 3.制作思路: 1. 输入一个网址,获取该网址的html内容. 2. 分析h ...

利用PHP制作简单的内容采集器

利用PHP制作简单的内容采集器相关推荐

最新文章

热门文章