今天要给大家做示例的网站是163的 娱乐频道 这个应该是个比较通用和实用的规则,下面开始。

以采集示例详解部分功能

今天要给大家做示例的网站是163的 娱乐频道 这个应该是个比较通用和实用的规则,下面开始。

如果您是火车采集器的老手,那么您可以参考下,因为我要讲解的会有违传统的思维;如我您是新手那么您最好能仔细看下,因为这将加快您的入门,同时在以后给您节省很多时间。以下是一些采集的基本步骤,您可以灵活运用:

一、建立站点

1、请先打开火车采集器,新建站点,看下图:

为了方便管理您可以为您的站点取任何的您觉得易记的名称,但是我建议用目标源的名字作为站点的名称有利于日后的管理,如下图

大部分的站点,通站往往只有一套模版或者有几套类似的模版,这边所谓的类似讲的是模版中的标记很接近,那什么是模版标记?模版标记指的是某部分内容开始和结束记号。比如很多正规的网站(通常是一些站点比较大,内容比较多的网站,比如sina、163等)会在内容开始的部分用类似于或

等标志来表示内容的开始。他们这么作的原因有两个,一个是由于内容多,为了各个部门之间的配合而作了对应的标记以便于工程的交接,另一个原因就是内容控制的需要,随着xhtml的流行,用层控制越来越多,这就使得我们寻找采集标示越来越简单(这点你们以后会慢慢理解的)。上面给各位讲这些是因为接下来要我们要讲解的是整站内容规则。

2、标题标签讲解。对应的页面在这:

首先从“站点基本信息”切换到“整站内容规则”,然后把要采集的内容页面的网址拷贝到“典型页面”接着点击“测试”读取源码。先从标题标签开始,我们发现按默认标签采集回来的标题多了“_网易娱乐”,请双击标题标签或者选种标题标签在点击修改,把“_网易娱乐”添加到排除内容框里,标题标签完成。如图:

3、内容标签讲解。制作采集规则(任务)的任何一个标签最重要的就在于寻找开始也结束的标志。目前大部分的采集器要求开始和结束的标志必须是整个源代码的唯一标志,也就是所有的html源码里只能找到一个开始或结束的标志。但是火车采集器并不需要这么作,你要找的只需要是从上到下第一个标志就可以了,我的意思是说,html代码中允许有n个相同的开始(结束,下同)标志,但是只要这个位于我们要采集的内容的地方的标志是html从上到下的第一个就可以了。打开任何一个内容页面,这边以 为例,我们发现他的内容从“进入论坛”,因此双击代码测试框,查找需要的代码,如图:

我们可以用这个作为内容开始的标志,不过这样还不完美,请自己在打开几个内容页面,在网页中“右键点击”——“查看源码”,然后对比代码,并提取相同的部分,我以

作为内容开始的标志。

一般来说我们从开始标志到结束标志所采集回来的内容中都会包含有必须排除的内容或广告,或链接。这边我们需要排除的内容是“相关专题>>> 第六届金鹰电视艺术节”。排除的方法是,找到相对应的代码把代码完整的拷贝进内容排除窗口,变动的部分用“(*)”替代。由于这个是整站规则,所以必须多找几个类别,比如现在的这个163娱乐还包括了“明星 | 图片 | 电影 | 电视 | 音乐 | 论坛 | 专题 | 名人访 ”等,在这边我只抽取“明星、图片、电影”作为列子跟大家讲解。找其他的类别只是希望把规则做的通用完美,如果你只要其中的一个分类,比如“图片”那么你直接做这个的规则即可。

这个页面刚好有分页,所以就顺便讲下上下页的设置。他这边的“上一页”和“下一页”是用图片做链接的,所以只要不图片的名字(右键点击对应的图片查看属性,拷贝图片名即可)拷贝进对应的代码框即可,详细的看图片:

作规则需要善于去发现规律性的东西,作到这点采集就没什么问题了。我们要采集示例的地址在这

这板只采集其中的1-3页作为范例。我们发现每个叶面的网址开始前面都包含“过往娱乐热点”结束都是“第1 2……页”,所以请到html源代码里面拷贝对应的代码,到特定区域采集范围中,另外,网址中必须包含“/06/” 这样网址采集就搞定了(简单吧,自己试试看),如下图:

下面是刚才我采集到本地论坛采集测试的两个截屏:

本文原创发布php中文网,转载请注明出处,感谢您的尊重!

火车头采集器php,火车头采集器3.0采集图文教程相关推荐

  1. OpenGL ES 2.0 for Android教程(二):定义顶点和着色器

    OpenGL ES 2 第二章:定义顶点和着色器 文章传送门 OpenGL ES 2.0 for Android教程(一) OpenGL ES 2.0 for Android教程(三) OpenGL ...

  2. 火车头采集图文教程-火车头采集各种数据规则教程

    火车头采集图文教程,火车头采集器抓取数据取是决于您的规则.要获取某个网页的所有内容,您需要先获取此网页的网址.程序按规则抓取列表页面,分析其中的URL,然后写规则获取网页内容(HTML基础知识),为了 ...

  3. python做动态数据采集仪代理_九四采集器(py/python)采集器设置动态代理IP图文教程...

    说明:为什么要使用动态代理进行采集,主要是因为针对封ip之类问题解决,使用了动态代理ip就无法进行ip封禁,不影响采集. 直入正题,首先要配置搭建采集器,这里不做赘述. 注:下载地址在底部. 采集器配 ...

  4. V4L2采集yuv视频花屏:Linux视频采集与编码(一)

    V4L2采集yuv视频花屏:Linux视频采集与编码(一) 标签: linuxvideobufferiostructnull 2012-05-01 20:35 16179人阅读 评论(42) 收藏 举 ...

  5. 浩瀚抄码器冻品进口肉类抄重工具怎么用抄码器?抄码器如何用?便携式抄码器牛羊肉手持抄码器

    浩瀚抄码器冻品进口肉类抄重工具怎么用抄码器?抄码器如何用?便携式抄码器牛羊肉手持抄码器进口冻肉扫码抄码器PDA哪个好?如何选择进口牛羊肉抄码器? 当前对于进出口牛羊肉的出入库管理,市面上仍保留人工目测 ...

  6. 北斗GPS校时器(卫星授时器)助力桥梁监控系统建设

    北斗GPS校时器(卫星授时器)助力桥梁监控系统建设 北斗GPS校时器(卫星授时器)助力桥梁监控系统建设 一.系统概述 整个采集系统分散在桥梁的各个部位.桥梁按照区域划分为若干区段,在主要几个区段中安置 ...

  7. 八爪鱼采集:赶集网电话号码采集图文教程

    赶集网电话号码采集 随着互联网的飞速发展,越来越多的人在网上找工作找房子,现在为大家介绍使用八爪鱼采集器采集赶集网电话号码的方法. 选择要采集的分类 1.打开赶集网首页选择你要采集的分类 2.选择好你 ...

  8. 矩阵 分配器 切换器 编码器 解码器 中控器

    1. 矩阵 视频会议项目中用到的矩阵一般比较多是的混合矩阵和网络矩阵,很少用到光纤矩阵 光纤矩阵是一款采用光纤传输,使信号长距离传输,不受干扰,信号无衰减.支持音视频信号输入/输出的音视频矩阵切换器. ...

  9. 码农技术炒股之路——配置管理器、日志管理器

    配置管理器和日志管理器是项目中最为独立的模块.我们可以很方便将其剥离出来供其他Python工程使用.文件的重点将是介绍Python单例和logging模块的使用.(转载请指明出于breaksoftwa ...

  10. 采集虚拟机_系列文章:Kubernetes日志采集最佳实践

    前言 上一期主要介绍Kubernetes日志输出的一些注意事项,日志输出最终的目的还是做统一的采集和分析.在Kubernetes中,日志采集和普通虚拟机的方式有很大不同,相对实现难度和部署代价也略大, ...

最新文章

  1. New Video Game Controlled By Kissing
  2. PostgreSQL 打开文件句柄优化 - 百万以上实体对象初始化优化
  3. python快速加引号_在python中如何快速地将一串字符串首尾加上双引号?
  4. 【翻译】【CGWORLD】怪物猎人携带版3rd制作介绍
  5. RxJava之PublishSubject、BehaviorSubject、ReplaySubject和AsyncSubject
  6. OJ1024: 计算字母序号
  7. file结构体中private_data指针的疑惑
  8. xampp里mysql的环境变量配置_XAMPP集成环境中MySQL数据库的使用
  9. php数据库搬家,php 用adodb实现数据库搬家
  10. .NET : 在定义项目模板的时候使用占位符
  11. 团队作业个人博客07
  12. 一次 注册dll失败 的经历
  13. 《酒吧圣经》学习笔记1
  14. 肠道细菌产生的神经递质调节宿主的感觉行为
  15. Strategy模式简述
  16. 支付宝信用卡还款即将收费,3个方法免手续费!
  17. matlab中的diag
  18. Spring Boot 入门实战教程
  19. 耗时整整3个月,我梳理了200道Android面试基础(上)【面试必考,全网最全,每天一遍】
  20. c++ web 框架 ---ricky.chu

热门文章

  1. STM32 控制蜂鸣器播放音乐的原理和实例
  2. 2019-11-10训练总结
  3. 数据结构_树与二叉树总结
  4. smplayer_Windows上的SMPlayer入门(更好地播放电影)
  5. 计算机wifi无法打开,教你win10系统WiFi热点无法打开的修复教程
  6. android xp 支付宝自动提现,支付宝商户如何自动提现?
  7. ISA服务器安装设置全集
  8. 微服务可有本手、妙手、俗手?落子网关,俗手转妙手 ———— 2022高考全国作文题
  9. php 人物换装原理,装备库解析——换装机制,宝石选择原理
  10. Zookeeper -选举流程