php 爬虫类,php爬虫原型

php爬虫原型

@desc：爬虫原型

@author [Lee] ]>

@param url 初始url

@param callback 处理业务的回调函数

@param 挖掘url的深度默认3

function crawl($url,$callback,$depth = 3){

if($depth > 0){

$depth--;

$http = new http($url);

$content = $http->get()->exec();

// 业务处理开始

call_user_func($callback,$content);

// 业务处理结束

$preg = '/\'\"\ ]*).*?>/';

$bool = preg_match_all($preg,$content,$res);

$urls = array();

if($bool){

$urls = $res[1];

}

$urls = array_unique($urls);

$info = parse_url($url);

$scheme = $info["scheme"]?:'http';

$user = $info["user"];

$pass = $info["pass"];

$host = $info["host"];

$port = $info["port"];

$path = $info["path"];

$url = $scheme . '://';

if ($user && $pass) {

$url .= $user . ":" . $pass . "@";

}

$url .= $host;

if ($port) {

$url .= ":" . $port;

}

$url .= $path;

if (is_array($urls)) {

foreach ($urls as $u) {

if (preg_match('/^http/', $u)) {

$returl = $u;

} else {

$real = $url . '/' . $u;

$returl = $real;

}

crawl($returl,$callback,$depth);

}

php 爬虫类,php爬虫原型相关推荐

金融数据分析（三）当当网店铺商品爬虫——爬虫类书籍为例：requestsbs4
案例(二)爬虫预热项目一:当当网店商品爬虫--爬虫类书籍为例此案例是运用bs4库find方法对相关内容进行抓取. -*- coding: utf-8 -*- import requests imp ...
scrapy的爬虫类总结
scrapy的爬虫类总结 scrapy存在两种爬虫类,一个是基于basic模板创建的普通爬虫类scrapy.Spider, 另一个是基于crawl的规则性爬虫类scrapy.spiders.Crawl ...
QQ好友列表获取导出类：爬虫爬取QQ号
QQ好友列表获取类:爬虫爬取QQ号,这个个爬虫是拿来练手的,可以爬取网络中的QQ号,然后存储到本地 import urllib.request import ssl import re import ...
python爬虫案例-Python爬虫案例集合
原标题:Python爬虫案例集合 urllib2 urllib2是Python中用来抓取网页的库,urllib2 是 Python2.7 自带的模块(不需要下载,导入即可使用) 在python2.x里 ...
python爬虫入门-Python 爬虫从入门到进阶之路（一）
通用爬虫和聚焦爬虫根据使用场景,网络爬虫可分为通用爬虫和聚焦爬虫两种. 通用爬虫通用网络爬虫是捜索引擎抓取系统(Baidu.Google.Yahoo等)的重要组成部分.主要目的是将互联 ...
python爬虫吧-Python爬虫案例集合
urllib2 urllib2是Python中用来抓取网页的库,urllib2 是 Python2.7 自带的模块(不需要下载,导入即可使用) 在python2.x里面有urllib和urllib2; ...
python爬虫实例-Python爬虫案例集合
urllib2 urllib2是Python中用来抓取网页的库,urllib2 是 Python2.7 自带的模块(不需要下载,导入即可使用) 在python2.x里面有urllib和urllib2; ...
python爬虫百度百科-python爬虫(一)_爬虫原理和数据抓取
本篇将开始介绍Python原理,更多内容请参考:Python学习指南为什么要做爬虫著名的革命家.思想家.政治家.战略家.社会改革的主要领导人物马云曾经在2015年提到由IT转到DT,何谓DT,DT ...
增量式爬虫与分布式爬虫
文章目录 1.redis的安装 2.基于crawlSpider的全站数据爬取 3.分布式 4.增量式 5.scrapy提高数据爬取效率 6.虚拟环境 1.redis的安装 1.将安装包解压到一个文件夹 ...

php 爬虫类,php爬虫原型

php 爬虫类,php爬虫原型相关推荐

最新文章

热门文章

php 爬虫 类,php爬虫原型

php 爬虫 类,php爬虫原型相关推荐

最新文章

热门文章

php 爬虫类,php爬虫原型

php 爬虫类,php爬虫原型相关推荐