php 视频网站采集器,自己在用的视频网站开源，真正的自动采集无需手动更新...

项目开源地址：https://github.com/smiger/collectMovies

项目使用Laravel框架，需要安装PHP >= 7.0.0

一、部署

1、打开命令行窗口(这里我们称为第一个命令行窗口)，新建数据库collectMovies

输入命令：

mysql -uroot -p123456

create database collectMovies character set 'utf8' collate 'utf8_general_ci';

如下图所示

2、在另外打开一个命令行窗口(这里我们称为第二个命令行窗口)，定位到collectMovies目录下，执行php artisan migrate新建表

3、表新建成功后，返回第一个命令行窗口执行source mac_type.sql导入影片类型

注意mac_type.sql的路径

4、再来第二个命令行窗口，在collectMovies目录下执行php artisan serve启动服务，这时候我们在浏览器输入127.0.0.1:8000就能看到网站大体布局，不过还没有数据

二、接下来以豆瓣资源网http://www.dbzyz.com为例如何实现自动采集的过程

1、浏览器访问如下地址影片类型关联

http://127.0.0.1:8000/fenlei?ac=list&cjurl=http://www.dbzyz.com/inc/dbm3u8.php&h=24&t=&ids=&wd=&type=1&mid=1&param=

选择好后点击最底下的修改按钮，如果后续要做修改再重新操作一遍即可

2、采集豆瓣资源网的视频内容

在浏览器输入链接

http://127.0.0.1:8000/collect?ac=cj&cjurl=http://www.dbzyz.com/inc/dbm3u8.php&h=&t=&ids=&wd=&type=1&mid=1&param=

采集网站上的所有视频，等待采集完成后，再访问视频站点就可以看到视频内容了

3、最后一部，如果豆瓣资源网有更新怎么办，我写了一个python脚本定时更新视频内容

在collectMovies目录下的cj.py文件，运行这个脚本需要你安装python3的版本

然后运行python cj.py

每24小时调用采集一次，具体逻辑自行查看代码

附：如果需要发布到服务器上，操作过程类似，主要配置参考如下

#安装依赖修改.env，设置

APP_ENV=production

APP_DEBUG=false

以及其它的一些配置，确保MySQL等连接正常，执行命令

php artisan migrate

php artisan key:generate

php artisan down#停掉网站

git pull

php artisan migrate#更新代码及数据库

php artisan clear-compiled

php artisan cache:clear

php artisan config:cache

php artisan optimize

composer dump-autoload --optimize

#各种清空缓存和重建缓存

php artisan up#关闭维护状态，更新完毕

php 视频网站采集器,自己在用的视频网站开源，真正的自动采集无需手动更新...相关推荐

手机下载小说为php格式的,PHP响应式小说网站整站源码(自适应手机移动端+深度SEO优化自动采集+图文安装教程)...
[温馨提示]源码包解压密码:www.youhutong.com 资源描述 PHP响应式小说网站整站源码(自适应手机移动端+深度SEO优化自动采集+图文安装教程) 源码介绍: 深度SEO优化自动采集的新 ...
视频剪切合并器使用方法,如何使用视频剪切合并器分割合并视频片段
不论是快手还是抖音,视频网站的火热引起了大家的关注,甚至连七八十岁的老人家也玩起了视频平台,真是开启了全民短视频的时代.录像的过程中,经常会出现一个视频没录完,被打断了,或者是需要换环境,接着录,有时 ...
php开源采集器,简单PHP采集器 - WangEven的个人空间 - OSCHINA - 中文开源技术交流社区...
//**************************************************************** $url = "http://book.sina.com ...
DM视采网站采集器简介
文章来源:视采网站采集器 DM视采网站采集器简介 DM视采网站采集器是一款可视化的数据挖掘软件,它可用于网站采集,论坛采集,dedecms采集,动易采集,新云采集,论坛发帖,论坛顶贴,博客采集等. 系 ...
后羿采集器怎么导出数据_推荐爬虫神器后羿采集器，小白也能一键采集数据
你有没有烦恼过,如何将网页中包含的各种信息转变为有用的数据呢? 粘贴复制??太累开发软件??太贵写python爬虫??太难学下载了一些工具??太难用这里推荐第2款采集数据的神器,后羿采集器,无 ...
人工智能工具推荐：采集图片神器——后羿采集器
我们在做人工智能图像识别的时候需要大量的图片,这些图片一部分是自己拍,更大一部分是从网上爬取各种图片. 但是爬取图片的工具一般都是爬取百度.谷歌.必应等网站. 百度经常会推出反爬机制,谷歌没有梯子根本 ...
门户通专访李进斌：火车头采集器－站长的伴侣
本次采访站长是火车头采集器网站 (http://www.locoy.com/)站长李进斌. 采访人:一滴水被采访人:李进斌火车头采集器站长李进斌(门户通网站配图) ...
网页采集器哪个好-免费网页采集器排行榜
网页采集器哪个好,今天给大家分享这款网页采集器哪个好.为什么今天给大家分享这款免费的网页采集器?因为这款免费的网页采集器只要点点鼠标就能轻松获取你想要的数据.很多站长都用过这款爬虫采集器实现内容自动更 ...
后羿采集器怎么导出数据_后羿采集器教程：如何采集东方财富网股票数据
本文介绍如何使用采集器的智能模式,实时采集东方财富网行情中心新三板股票数据采集工具简介: 后羿采集器是一款基于人工智能技术的网页采集器,只需要输入网址就能够自动识别网页数据,无需配置即可完成数据采集 ...

php 视频网站采集器,自己在用的视频网站开源，真正的自动采集无需手动更新...

php 视频网站采集器,自己在用的视频网站开源，真正的自动采集无需手动更新...相关推荐

最新文章

热门文章