基于ThinkPHP5 使用QueryList爬取并存入mysql数据库

QueryList4教程地址：

https://doc.querylist.cc/site/index/doc/45

在ThinkPHP5代码根目录执行composer命令安装QueryList:

composer require jaeger/querylist

如果出现以下错误

Loading composer repositories with package information
Updating dependencies (including require-dev)Authentication required (packagist.phpcomposer.com):Username:

出现这样的情况

使用

composer config -g repo.packagist composer https://packagist.laravel-china.org

1-下面演示在Index控制器中使用QueryList:


use QL\QueryList;public function qulist(){$data = QueryList::get('http://maoyan.com/board/4')// 设置采集规则->rules([// 爬取图片地址"src"=>array(".board-wrapper dd img.board-img","data-src"),// 爬取电影名"name"=>array(".board-wrapper dd .movie-item-info .name","html"),// 爬取电影主演信息"star"=>array(".board-wrapper dd .movie-item-info .star","html"),// 爬取上映时间"releasetime"=>array(".board-wrapper dd .movie-item-info .releasetime","html"),])->query()->getData();$excel_array=$data->all();$city = [];foreach($excel_array as $k=>$v) {$city[$k]['src'] = $v['src'];$city[$k]['name'] = $v['name'];$city[$k]['star'] = $v['star'];$city[$k]['releasetime'] = $v['releasetime'];}Db::name("article")->insertAll($city);}

如果没有错的则插入到数据库的

截图

2-如果想继续抓取下一页数据则要根据规律来取数据

public function qulist(){for($i=0;$i<20;$i++){$page=$i*10;$data = QueryList::get('http://maoyan.com/board/4?offset='.$page)// 设置采集规则->rules([// 爬取图片地址"src"=>array(".board-wrapper dd img.board-img","data-src"),// 爬取电影名"name"=>array(".board-wrapper dd .movie-item-info .name","html"),// 爬取电影主演信息"star"=>array(".board-wrapper dd .movie-item-info .star","html"),// 爬取上映时间"releasetime"=>array(".board-wrapper dd .movie-item-info .releasetime","html"),])->query()->getData();$excel_array=$data->all();$city = [];foreach($excel_array as $k=>$v) {$city[$k]['src'] = $v['src'];$city[$k]['name'] = $v['name'];$city[$k]['star'] = $v['star'];$city[$k]['releasetime'] = $v['releasetime'];}Db::name("article")->insertAll($city);}}

3- 继续抓取下一页数据并判断数据库是否存在存在不爬虫不存在继续填满，并且休眠几秒再爬取

public function qulist(){set_time_limit(0);  //防止程序响应30秒后  报错for($i=0;$i<20;$i++){$page=$i*10;$data = QueryList::get('http://maoyan.com/board/4?offset='.$page)// 设置采集规则->rules([// 爬取图片地址"src"=>array(".board-wrapper dd img.board-img","data-src"),// 爬取电影名"name"=>array(".board-wrapper dd .movie-item-info .name","html"),// 爬取电影主演信息"star"=>array(".board-wrapper dd .movie-item-info .star","html"),// 爬取上映时间"releasetime"=>array(".board-wrapper dd .movie-item-info .releasetime","html"),])->query()->getData();$excel_array=$data->all();$city = [];foreach($excel_array as $k=>$v) {$find = Db::name("article")->where("src", "=",$excel_array[$k]["src"])->find();if (empty($find)) {$city[$k]['src'] = $v['src'];$city[$k]['name'] = $v['name'];$city[$k]['star'] = $v['star'];$city[$k]['releasetime'] = $v['releasetime'];}}if (!empty($city)){Db::name("article")->insertAll($city);}/** 暂停时间 为2秒执行*/sleep(2);}}

基于ThinkPHP5 使用QueryList爬取并存入mysql数据库相关推荐

高德地图交通态势爬取并存入MySQL数据库
高德地图交通态势爬取并存入mysql数据库高德地图交通态势开放api链接: 高德交通态势高德地图交通态势使用流程: 第一步,申请"Web服务API接口"密钥(Key): 第二步 ...
python爬取数据存入mysql
#这里的mysql数据库用的是phpstudy里的,安装方便 #需要下载MySqldb第三方库 import MySQLdb,requests from bs4 import BeautifulSou ...
scrapy将爬取的数据存入mysql_scrapy爬取数据存入MySQL
创建工程 scrapy startproject tutorial 创建蜘蛛 scrapy genspider crawl_mysql inputMysql http://lab.scrapyd.cn ...
当当网用什么数据库 mysql_当当网爬取数据到MySQL数据库，没有信息。
使用scrapy框架写的当当网数据爬取,数据能爬下来,但是导入不进去数据库中大神,又来打扰你了 1.数据库名称: dd:数据库名 ddw 表名 2.问题报错 3.代码: 3.1 items文件代码: ...
python 高德地图交通态势爬取（存入mysql）
高德Web服务API提供了交通态势的http接口,使用时分为以下3个过程: 第一步,申请"Web服务API接口"密钥(Key): 第二步,拼接HTTP请求URL,第一步申请的Key ...
用 Python selenium爬取股票新闻并存入mysql数据库中带翻页功能demo可下载
用 Python selenium爬取实时股票新闻并存入mysql数据库中 1.分析需求 2.创建表 3.分析需要爬取的网页内容 4.python里面selenium进行爬虫操作 1.添加包 2.连接 ...
Python爬取股票数据存入mysql数据库，获取股票（最新、最高、今开、成交量、成交额、量比、换手率、涨幅等）支持多线程+数据库连接池
项目简介 (Python)爬虫 + MySQL + Redis项目. 爬取下来的数据可用于后续的数据分析(我计划将其用于我的毕业设计). 未来会将数据分析的可视化部署到服务器上, 并添加股票降价通知的 ...
爬取Github Web API 并存入Mysql数据库
写在前面本文内容为爬取GitHub的Web API并存入mysql数据库,内容为华为鸿蒙OS相关的代码. WEB API Web API是网络应用程序接口.它包含了广泛的功能,网络应用通过API接口 ...
使用PHP+QueryList 爬取猫眼电影榜单信息
爬虫是我一直以来跃跃欲试的技术,现在的爬虫框架很多,比较流行的是基于python,nodejs,java,C#的的框架,其中又以基于python的爬虫流行最为广泛,还有的已经是一套傻瓜式的软件操作,如 ...

基于ThinkPHP5 使用QueryList爬取并存入mysql数据库

1-下面演示在Index控制器中使用QueryList:

2-如果想继续抓取下一页数据则要根据规律来取数据

3- 继续抓取下一页数据并判断数据库是否存在存在不爬虫不存在继续填满，并且休眠几秒再爬取

基于ThinkPHP5 使用QueryList爬取并存入mysql数据库相关推荐

最新文章

热门文章

基于ThinkPHP5 使用QueryList爬取 并存入mysql数据库

1-下面演示在Index控制器中使用QueryList:

2-如果想继续抓取下一页 数据 则要根据规律来取数据

3- 继续抓取下一页 数据 并判断数据库是否存在 存在不爬虫 不存在继续填满 ，并且休眠几秒再爬取

基于ThinkPHP5 使用QueryList爬取 并存入mysql数据库相关推荐

最新文章

热门文章

基于ThinkPHP5 使用QueryList爬取并存入mysql数据库

2-如果想继续抓取下一页数据则要根据规律来取数据

3- 继续抓取下一页数据并判断数据库是否存在存在不爬虫不存在继续填满，并且休眠几秒再爬取

基于ThinkPHP5 使用QueryList爬取并存入mysql数据库相关推荐