织梦图集php,采集功能的使用方法 --- 图片集(一)
Dedecms采集功能的使用方法 --- 图片集(一)
前言:这篇文章主要是介绍如何使用采集功能去采集一个图片类的网站。这次选取的目标站点为:站酷网的佳作欣赏栏目,其URL为:http://www.zcool.com.cn/shows/。本文将会涉及到如何处理被采集页面含有分页以及如何使用简单的过滤规则。本文共分为三节:第一节,主要是介绍如何进入采集界面和新增采集节点中的第一步:设置基本信息及网址索引页规则;第二节,主要是介绍新增采集节点中的第二步:设置字段获取规则;第三节,主要是介绍如何采集指定节点和如何导出采集内容。
下面进入第一节。
1.1进入采集节点管理界面
如(图1)所示,在后台管理界面的主菜单中单击“采集”,然后单击“采集节点管理”,即可进入采集节点管理界面,如(图2)所示。
图1-后台管理界面
图2-采集节点管理界面
1.2. 增加新节点
在采集节点管理界面中,单击左下角的“增加新节点”或者右上角的“添加新节点”(如图2),都可进入“选择内容模型”界面,如(图3)所示,
图3-选择内容模型界面
在“选择内容模型”界面的下拉列表框中,有“普通文章”和“图片集”可供选择。
根据被采集页面的类型,选择相应的内容模型。本文这里选择“图片集”,单击确定后,便可进入“新增采集节点:第一步设置基本信息及网址索引页规则”界面,如(图4)所示,
图4-新增采集节点:第一步设置基本信息及网址索引页规则
1.2.1 设置节点基本信息
图5-节点基本信息
如(图5)所示,这里只是介绍如何获取“目标页面编码”,对于其他的设定,可参见之前的文章。具体操作步骤:
(b)单击右键后选择“查看源文件”,找到“charset”, 如(图6)所示,
图6-查看源文件
其等号后面的代码就是所需填写的“编码格式”,这里是“utf-8”。
填写后,如(图7)所示,
图7-设置后的节点基本信息
检查无误后,进入下一步设置。
1.2.2 设置列表网址获取规则
图8-列表网址获取规则
如(图8)所示,这里是设置被采集的文章列表页的匹配规则。具体操作步骤:
(a)首先,回到已打开的列表页,找到浏览器的URL地址栏中显示的网址和页面的换页部分。如(图9)和(图10)所示,
图9-浏览器的URL地址栏
图10-换页
(b)单击“2”,打开文章列表页的第二页,再次找到浏览器的URL地址栏中所显示的网址和页面的换页部分,如(图12)和(图13)所示,
图11-第二页的网址
图12-第二页的换页
(c)在已打开的列表页的第二页上面,单击(1),回到列表页的首页,这时页面的换页部分与之前的图10是相同的,然而浏览器的URL地址栏中所显示的网址与之前图9并不相同,如(图13)所示,
图13-第一页的网址
(d)由(b)和(c)可推知,这里被采集的列表页的网址所遵循规律为:
http://www.zcool.com.cn/shows/0!0!0!200!(*)!1!0!0/。稳妥起见,请自行测试更多列表页。确定规律后,在“匹配网址”中,填入列表页所遵循的规律。
(e)最后,根据需要指定采集的页码或者规律数字,并设定其递增规律。
到这里,“列表网址获取规则”部分就设置结束了。最后结果,如(图14)所示,
图14-设置后的列表网址获取规则
确定正确后,进入下一步设置。
1.2.3设置文章网址匹配规则
图15-文章网址匹配规则
这里是设置被采集的列表页的匹配规则。
具体操作步骤: (a)对于“区域开始的HTML”,可以在已打开的列表首页,单击右键后选择“查看源文件”查找出第一篇文章的标题“高清壁纸”来获得,如(图16)所示,
图16-查看源文件中,第一篇文章的标题
通过观察,不难看出“
- ”为整个列表的开始部分。因此,在“区域开始的HTML”中,应填入“
- ”。
(b)在源文件中,找到最后一篇文章标题“阿奴比斯”,如(图17)所示,
图17-查看源文件中,最后一篇文章的标题
结合列表的开始部分并通过观察可知,第一个“
”为整个列表的结束部分,而其后的从“
- ”到第二个“
”,则为页面的换页部分。因此,在“区域结束的HTML”中,应填入””,意思是到第一个结束。
(c)经过观察图16和图17的文章标题部分,可以发现,标题的链接地址都是含有“=.html”的。因此,可在“必须包含”中,填入“=.html”。
到这里,“文章网址匹配规则“就设置结束了。填写后,如(图18)所示,
图18-设置后的文章网址匹配规则
通过以上的三个小节,新增采集节点的第一步就已经设置完成了。设置后的最终结果,如(图19)所示,
图19-设置后的新增采集节点:第一步设置基本信息及网址索引页规则
全部完成并检查无误后,单击“保存信息并进入下一步设置“。如果之前设置正确,单击后,将会进入“新增采集节点:测试基本信息及网址索引页规则设置的网址获取规则测试”页面并看到相应的文章列表地址。如(图20)所示,
图20-网址获取规则测试
确定正确无误后,单击“保存信息并进入下一步设置”。否则,请单击“返回上一步进行修改“。
到这里,第一节就结束了。下面进入第二节。。。
织梦图集php,采集功能的使用方法 --- 图片集(一)相关推荐
- 怎么将织梦图集模型编辑器改为文章编辑器?
今天跟版网小编在使用织梦图集编辑器的时候发现图集编辑器的功能要比文章的编辑器少很多,发布内容的时候很不好用,比如图片居中,编辑居中等功能,具体不知道官方为何将这个编辑器简化的,我们如何将编辑器改成文章 ...
- 织梦cms内容采集视频教程
网站的核心是什么?是内容.虽然说对于seo来说,最好是能够进行伪原创.甚至远程,但是很多站长每天并不一定有太多的的时间来进行内容的创作.于是很多人站长开始想法子进行内容采集从而填充网站的内容.今天就给 ...
- 织梦++高级搜索php,织梦多条件筛选功能实现(dede联动搜索) - DeDecms
织梦多条件筛选功能实现(dede联动搜索) 用织梦实现筛选的功能,其实主要就是运用到了织梦的高级搜索功能,然后用ajax去post替换掉本来的结果就可以了. 其实筛选的话,主要有两个问题需要解决,一个 ...
- 织梦文章摘要php文件,织梦dedecms自动采集文章摘要教程
织梦dedecms自动采集文章摘要教程 . 1在采集规则模型里添加1个字段 description 描述成文章摘要 递属表:dede4_archives 2 建立的新节点就多了一个文章摘要,匹配区域和 ...
- 织梦全自动php采集插件下载,织梦dedecms自动采集伪原创处理插件-织梦插件
织梦dedecms自动采集伪原创处理插件-织梦插件 自动采集伪原创发布更新一体化插件安装方法. 1.打开DEDE后台,进入模块-模块生成向导 模块名称:自动采集更新 联系Email:这里填个你的Ema ...
- 修改织梦dedecms后台默认admin账号的方法
本文实例讲述了修改织梦CMS后台默认admin账号的方法.分享给大家供大家参考.具体实现方法如下: 有些新手站长朋友在安装织梦网站的时候,默认的管理员名字没改就是admin,可是后期发现不太安全,想修 ...
- 织梦DEDECMS网站改造MIP加速器教程方法【附源码】 - 移动端MIP加速闪电图标
织梦DEDECMS网站改造MIP加速器教程方法[附源码] - 移动端MIP加速闪电图标.独立手机站改造MIP 首先我们网站必须为UTF-8编码内核程序,否则无法直接操作,今天我们介绍下已有独立移动网站 ...
- dede织梦编辑器中插入mp4视频文件方法
dede织梦编辑器中插入****mp4****视频文件方法 场景: 织梦建站的时候 上传mp4视频不成功 思路: a. 登录后台->系统->系统基本参数->附件设置 查 允许上传的文 ...
- dedecms修改文章ID_织梦DEDECMS系统修改文章ID的方法
dedecms是不支持网站后台直接更改文章ID的,如果想要修改dedecms的文章ID,或是叫织梦DEDECMS系统修改文章ID的方法,小编就把具体方法分享给大家: 目前最新是V5.7版,只能通过修 ...
- /plus/list.php?tid= dedecms,织梦DedeCMS5.7全站实现伪静态的方法
织梦dedecms是可以生成静态文件的,不过生成静态文件如果有改动的话,需要重新生成,比较麻烦.直接动态的话,对网站的Seo有一点影响,使用伪静态是一个比较好的解决方法,虽然会增加服务器的负载.好了, ...
最新文章
- mysql+monitor+下载_详解MySQL监控工具 mysql-monitor
- SAP CRM note的自动拷贝
- 如何快速找到settype被assign的product category
- file_table.c 文件分析 linux1_0\linux\fs\file_table.c
- Android 系统(203)---Android包管理机制(一)PackageInstaller的初始化
- Nvidia-Docker
- [Hive]Hive合并小文件
- 为你解惑之WPF经典9问详解
- 免费不加密:C++基础教程完整版视频(黑马程序员)
- sqluldr2 配置
- Docker引擎客户端工具docker的总结
- 加深 | Matlab图像实验操作基础(矩阵,九宫格、噪声处理)
- 服装进销存软件哪个好?十大优质服装进销存管理软件排名
- mti杂波抑制仿真 matlab,MTI+MTD+CFAR简单仿真
- eyoucms使用入门 三
- 华为培训中华为数通HCIE考试流程-ielab
- mysql的strict,MySQL Strict Mode关闭
- 道可道,非常道——详解promise
- 文件服务器 tmp文件夹,Linux管理临时文件tmpfiles
- Java框架jboot_Jboot v3.0.3 正式版发布,基于 JFinal 的微服务框架