IT漫话第四篇：电影网站自动化采集

现在大部分的影视系统都支持自动化采集，只需要在后台配置即可。但是如果需要个性化采集，比如我们对采集资源关联了豆瓣评分信息，而这种关联一般是一条条的电影信息去和豆瓣信息匹配的，此时采用自动化采集就有问题了。今天我们就谈下如何自己封装自动化采集代码。
1）调用原始视频资源，获取视频列表信息，一般api就会返回视频列表信息。如 "page":{ "pageindex":"1","pagecount":"970","pagesize":"40", "recordcount":"38762"}。从上面的信息，可以看出当前的视频共970页，每页40条，共38762条记录。至此，通过在url里通过get传递参数，比如参数pnu m代表指定记录的指针，total代表总数，即recordcount值，当当前的pnum不超过total时，采集视频记录，并且把指针增加1，移动到下一条记录。
2）如何实现url自动跳转呢？很简单，我们只要使用到<script language='javascript'>function refresh(){location.href = '/caiji/today.php?url=".$_GET['url']."&pnum=".$pnum."&total=".$total."';}setTimeout('refresh()', 20000);</script>。其中的20000代表20秒后，自动刷新页面location.href地址。
3) 采集还有最重要的一块，即怎样把视频采集到视频库里呢？其实很简单，我们只要找到影视系统的采集时的url即可。比如以博士影院使用的苹果影视系统，找到后台采集时使用的地址：/admin.php/admin/collect/api.html?ac=cjhide&cjflag=".$cjflag."&cjurl=".$cjurl."&h=&t=&ids=".$vodid."&wd=&type=&mid=&param=&page=&limit=。然后我们通过curl模拟采集即可。ps:可以使用抓包工具获取采集使用的页面地址。
4) 虽然找到了后台视频采集地址，但采集肯定都是登陆状态下才行，为了不和日常的管理帐号冲突，我们新建一个独立的采集用户，然后也用curl模拟登陆，并记录cookies信息，这样就能采集电影信息了。![在这里插入图片描述](https://img-blog.csdnimg.cn/20191121210018160.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thb2thb3FpYW5n,size_16,color_FFFFFF,t_70)

IT漫话第四篇：电影网站自动化采集相关推荐

用python实现苹果cms电影网站的自动采集
苹果cms电影网站的自动采集用苹果cms搭建的电影网站,采集影片可以通过后台的自定义资源库链接资源网站.这种方式简单易操作.但是问题是采集的时候只有两种属性可以选择,一是可以选择影片类型,二是可以有 ...
海外多语言国际婚恋相亲网站开发制作，第四篇
第一篇:https://blog.csdn.net/weixin_43144260/article/details/113852613 第二篇:https://blog.csdn.net/weixin ...
python在线电影网站-四
VISION在线电影网站一4 目录 django具体实现一.新建项目配置环境新建项目启动Django项目二.Django根据数据库表生成Model 1.修改setting文件 2.根据数据库 ...
爬虫第四篇-爬虫对网站改版快速解决思路
采集数据时难免遇到采集网站的页面改版,快速解决页面改版对解析的影响对业务稳定性有重要影响 ##页面改版的影响针对不同的解析网站,影响程度不一,一般资讯类影响最小,表格类和报告类影响最大资讯类网站 ...
HTML5期末大作业：在线电影网站设计——电影速递网(12页面)含登录注册HTML+CSS+JavaScript
HTML5期末大作业:在线电影网站设计--电影速递网(12页面)含登录注册HTML+CSS+JavaScript 临近期末, 你还在为HTML网页设计结课作业,老师的作业要求感到头大?HTML网页作业 ...
HTML5期末大作业：电影网站设计——电影资讯博客(5页) HTML+CSS+JavaScript 学生DW网页设计作业成品 web课程设计网页规划与设计 web学生网页设计作业源码
HTML5期末大作业:电影网站设计--电影资讯博客(5页) HTML+CSS+JavaScript 学生DW网页设计作业成品 web课程设计网页规划与设计 web学生网页设计作业源码常见网页设计作业 ...
HTML5期末大作业：电影网站设计——漫威电影(2页) HTML+CSS+JavaScript 学生DW网页设计作业成品 web课程设计网页规划与设计 web学生网页设计作业源码...
HTML5期末大作业:电影网站设计--漫威电影(2页) HTML+CSS+JavaScript 学生DW网页设计作业成品 web课程设计网页规划与设计 web学生网页设计作业源码常见网页设计作业题材 ...
HTML5期末大作业：电影网站设计——指环王：护戒使者(13页) HTML+CSS+JavaScript
HTML5期末大作业:电影网站设计--指环王:护戒使者(13页) HTML+CSS+JavaScript 期末作业HTML代码学生网页课程设计期末作业下载 web网页设计制作成品大学生毕设网页设计 ...
HTML5期末大作业：在线电影网站设计——我不是药神电影介绍(4页) HTML+CSS+JavaScript 大二实训大作业HTML源码...
常见网页设计作业题材有个人. 美食. 公司. 学校. 旅游. 电商. 宠物. 电器. 茶叶. 家居. 酒店. 舞蹈. 动漫. 明星. 服装. 体育. 化妆品. 物流. 环保. 书籍. 婚纱. 军 ...

IT漫话第四篇：电影网站自动化采集

IT漫话第四篇：电影网站自动化采集相关推荐

最新文章

热门文章