phpspider PHP 爬虫

* 通过composer下载

composer require owner888/phpspider

// composer.json

{"require": {"owner888/phpspider": "^2.1"}
}

* 去掉讨厌的注释

https://doc.phpspider.org/demo-start.html

　./vendor/owner888/phpspider/core/phpspider.php

/* Do NOT delete this comment */

        // 彩蛋$included_files = get_included_files();$content = file_get_contents($included_files[0]);if (!preg_match("#/\* Do NOT delete this comment \*/#", $content) || !preg_match("#/\* 不要删除这段注释 \*/#", $content)){$msg = "Unknown error...";log::error($msg);exit;}

　删掉这段恶心的代码

* 导入数据库文件

cd ./vendor/owner888/phpspider/demo

mysql -uroot -hlocalhost -p

create database demo charset utf8 collate utf8_general_ci;
\. qiushibaike.sql

# ************************************************************
# Sequel Pro SQL dump
# Version 4541
#
# http://www.sequelpro.com/
# https://github.com/sequelpro/sequelpro
#
# Host: 127.0.0.1 (MySQL 5.7.14)
# Database: demo
# Generation Time: 2016-10-20 16:55:11 +0000
# ************************************************************/*!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT */;
/*!40101 SET @OLD_CHARACTER_SET_RESULTS=@@CHARACTER_SET_RESULTS */;
/*!40101 SET @OLD_COLLATION_CONNECTION=@@COLLATION_CONNECTION */;
/*!40101 SET NAMES utf8 */;
/*!40014 SET @OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS=0 */;
/*!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */;
/*!40111 SET @OLD_SQL_NOTES=@@SQL_NOTES, SQL_NOTES=0 */;# Dump of table content
# ------------------------------------------------------------DROP TABLE IF EXISTS `content`;CREATE TABLE `content` (`id` int(11) unsigned NOT NULL AUTO_INCREMENT,`depth` int(11) DEFAULT NULL,`url` varchar(200) DEFAULT NULL,`article_title` varchar(20) DEFAULT NULL,`article_headimg` varchar(150) DEFAULT NULL,`article_author` varchar(20) DEFAULT NULL,`article_content` text,`article_publish_time` int(10) DEFAULT NULL,PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;/*!40111 SET SQL_NOTES=@OLD_SQL_NOTES */;
/*!40101 SET SQL_MODE=@OLD_SQL_MODE */;
/*!40014 SET FOREIGN_KEY_CHECKS=@OLD_FOREIGN_KEY_CHECKS */;
/*!40101 SET CHARACTER_SET_CLIENT=@OLD_CHARACTER_SET_CLIENT */;
/*!40101 SET CHARACTER_SET_RESULTS=@OLD_CHARACTER_SET_RESULTS */;
/*!40101 SET COLLATION_CONNECTION=@OLD_COLLATION_CONNECTION */;

View Code

* 创建./index.php

<?php
require './vendor/autoload.php';use phpspider\core\phpspider;$configs = ['name' => '糗事百科','domains' => ['qiushibaike.com','www.qiushibaike.com'],'scan_urls' => ['http://www.qiushibaike.com/'],'content_url_regexes' => ["http://www.qiushibaike.com/article/\d+"],'list_url_regexes' => ["http://www.qiushibaike.com/8hr/page/\d+\?s=\d+"],'fields' => [[// 抽取内容页的文章内容'name' => "article_content",'selector' => "//*[@id='single-next-link']",'required' => true],[// 抽取内容页的文章作者'name' => "article_author",'selector' => "//div[contains(@class,'author')]//h2",'required' => true],],'log_show' => true,'input_encoding' => 'utf-8','output_encoding' => 'utf-8','db_config' => ['host' => '127.0.0.1','user' => 'root','pass' => '','name' => 'demo','port' => 3306],/*'export' => ['type' => 'sql','file' => './data/sql/qiushibaike.sql']*/'export' => ['type' => 'db','table' => 'content',]
];$spider = new phpspider($configs);
$spider->start();

* Run

php ./index.php

phpspider PHP 爬虫相关推荐

phpspider php爬虫框架
其实我自身的不是经常写正则,而且不规则的html去写正则本身就是件很麻烦的事情,如果页面有些微变动和更新就得再次去维护正则表达式,其实是非常蛋疼的我第一感觉就是去找一下爬虫的库,但是发现现在php爬 ...
利用爬虫爬取 zol网站热门手机
使用了20几分钟,爬取了zol相关的热门手机型号.特点.价格.上市时间.屏幕大小相关信息.对最新的热门手机做了一个简单的统计.如果你想知道任何其他的信息,可以给我留言.我已经把我的相关代码传导了git ...
[学]PHP爬虫框架phpspider
[学]PHP爬虫框架phpspider http://www.phpchina.com/article-40283-2.html http://www.111cn.net/phper/php-gj/6 ...
PHP爬虫框架phpspider(一) - 下载安装
该框架还是挺强大的,就是爬取规则采用的是Xpath语法,没有python的bs4库那么易用. github地址随便找个目录即可,不依赖于apache等. 克隆 git clone https://g ...
php spider 开发文档,开发PHPSpider爬虫的常用工具
# 开发PHPSpider爬虫的常用工具 # 开发PHPSpider爬虫的常用工具 > "工欲善其事,必先利其器",开发PHPSpider爬虫,起码得有几件顺手的工具才行吧, ...
phpspider中当爬虫获取数据时如何去掉广告
当成功爬取到的网页数据中有很多不相干的html广告标签时, 你是否会感到无可奈何, 有时候即使将XPath的效果发挥到极致, 也无法去掉顽固的html广告标签, 咋整呢? 本节给你介绍通过select ...
PHP系统能不能加爬虫,php能做爬虫吗
phpspider一款优秀的PHP开发蜘蛛爬虫编写PHP网络爬虫,需要具备以下技能: 爬虫采用PHP编写(推荐学习:PHP视频教程) 从网页中抽取数据需要用XPath ( XPath选择器教程 ) ...
旅游景点人流量代码php,用 PHP 爬虫做旅游数据分析
随着物质的提高,旅游渐渐成为人们的焦点,火热的国庆刚刚过去,乘着这股余热,我想很多人都想知道,大家一般会去哪里玩呢,于是我花了10分钟写了一个采集马蜂窝游记的小程序,当然速度能有这么快,完全依赖于PH ...
python的spider程序下载_PHPspider爬虫10分钟快速教程（内附python教程分享）
说到做爬虫,大家都可能第一时间想到的是python,其实php也是可以用来写爬虫程序的.php一贯简洁.易用,亲测使用PHPspider框架10分钟就能写出一个简单的爬虫程序. 一.PHP环境安装和 ...
php 爬数据库,php爬虫爬取数据并存储至数据库
php爬虫爬取数据并存储至数据库准备:php环境,phpspider请自行下载下载地址:https://github.com/owner888/phpspider 文档:https://doc.p ...

phpspider PHP 爬虫

phpspider PHP 爬虫相关推荐

最新文章

热门文章