本文资料来源:火车头采集器官网,但是讲解说明远优于官网!总结到位,重点解说明确—明月SEO

上一篇我们讲到了:火车头采集器使用图文教程以及重点问题整理! 本文将以一个简单的实测案例来说明,从而对重点问题进行细致入微的由浅入深的讲解。

下面我们通过一个简单的文章规则制作,来实战说明

通过采集faq为例来说明采集器采集的原理和过程。 本例以 http://faq.locoy.com/qc-12.html 演示地址。

一.新建个采集规则

选择一个分组上右击,选择“新建任务”,如下图:

二.添加起始网址

在这里我需要采集 5页数据。分析网址变量规律:

第一页地址:http://faq.locoy.com/qc-12.html?p=1

第二页地址:http://faq.locoy.com/qc-12.html?p=2

第三页地址:http://faq.locoy.com/qc-12.html?p=3

由此我们可以推算出p=后的数字就是分页的意思,我们用[地址参数]表示:

所以设置如下:

地址格式:把变化的分页数字用[地址参数]表示。

数字变化:从1开始,即第一页;每次递增1,即每次分页的变化规律数字; 共5项,即一共采集5页。

预览:采集器会按照上面设置的生成一部分网址,让你来判读添加的是否正确。

然后确定即可

【明月SEO总结】

设置网址规则的第一步是分析确认采集目标网站栏目列表页的页面URL规律(是纯列表页)

三.[常规模式]获取内容网址

常规模式:该模式默认抓取一级地址,即从起始页源代码中获取到内容页A链接。

在这里给大家演示用 自动获取地址链接 +设置区域 的 方式来获取。

查看页面源代码找到文章地址所在的区域:

设置如下:

注:更详细的分析说明可以参考官网帮助手册:操作指南 > 软件操作 > 网址采集规则 > 获取内容网址

点击网址采集测试,看看测试效果

四.采集网址内容规则

注:更详细的分析说明可以参考本帮助手册:操作指南 > 软件操作 > 内容采集规则 > 标签编辑

我们首先查看它的页面源代码,找到我们“标题”所在位置的代码:

导入Excle是跳出对话框~打开Excle出错 - 火车采集器帮助中心

分析得出: 开头字符串为:

结尾字符串为: 数据处理——内容替换/排除:需要把- 火车采集器帮助中心 给替换为空

内容标签的设置原理也是类似的,找到内容所在源码中的位置

分析得出: 开头字符串为:

结尾字符串为:

数据处理——HTML标签排除:把不需要的A链接等 过滤

再设置个“来源”字段

【明月SEO总结】

1.第一步:分析出列表页分页的页码规律。并设置写出采集目标网站栏目列表页的页面URL规律(是纯列表页)

2.第二步:分析出列表页单页面全部链接的前后代码标签,并设置采集此列表网址链接的规则。

3.第三步:分析出文章内容的前后代码标签,并设置内容的采集规则

注意:是从文章的正文内容开始!找出正文内容前后的代码标签。

(1)不是从文章标题开始

(2)也不是从文章的标示属性开始

好了,既然我们知道是从文章内容的【正文】处的前后找前后标志代码标签,那么怎么找呢?有什么要求吗?

4.前后代码标签查找的要求

并不是直接找正文的前后最近的闭合标签代码!

因为这个并不是唯一的

要求必须是离正文最近的,唯一不重复的前后代码标签。

5.点击开始采集的时候,后边的【发布】按钮哪怕你只是采集到本地没有设置发布,也要勾选上。不然火车头采集器就采集不上。

6.从新采集的话需要右键选择清空采集记录,或者从新新建存储文件夹。不然也采集不上。

以上总结的要点,均是明月SEO本人亲测,实属经验之谈,吐血分享,望周知。

如果你还有疑问,可以在本页面下留言评论(免登陆,直接评论)。有问必答,明月SEO肯定吐血为你解答。

最大化参数 火车头_新手必看的火车头采集器使用入门教程_图文解说版!(看完包会)...相关推荐

  1. python新手入门教程思路-Python新手入门教程_教你怎么用Python做数据分析

    Python新手入门教程_教你怎么用Python做数据分析 跟大家讲了这么多期的Python教程,有小伙伴在学Python新手教程的时候说学Python比较复杂的地方就是资料太多了,比较复杂.很多网上 ...

  2. 苹果手机上运行python_Python新手入门教程_在手机上就能学习编程的软件

    Python新手入门教程_在手机上就能学习编程的软件 很多小伙伴会问:我在学编程,想利用坐地铁坐公交吃饭间隙学编程,在手机上能学编程的软件有哪些?毕竟时间宝贵啊!!哈哈哈!!! 这个问题,在悟空回答的 ...

  3. python 手机编程termux_Python新手入门教程_在手机上就能学习编程的软件

    Python新手入门教程_在手机上就能学习编程的软件 很多小伙伴会问:我在学编程,想利用坐地铁坐公交吃饭间隙学编程,在手机上能学编程的软件有哪些?毕竟时间宝贵啊!!哈哈哈!!! 这个问题,在悟空回答的 ...

  4. python手机开发的软件_Python新手入门教程_在手机上就能学习编程的软件

    Python新手入门教程_在手机上就能学习编程的软件 很多小伙伴会问:我在学编程,想利用坐地铁坐公交吃饭间隙学编程,在手机上能学编程的软件有哪些?毕竟时间宝贵啊!!哈哈哈!!! 这个问题,在悟空回答的 ...

  5. c++ 结构体赋值_《零基础看得懂的C语言入门教程》—(十二)结构体是这么回事

    一.学习目标 了解C语言的结构体的使用方法 了解C语言结构体的结构的赋值 了解多种C语言结构体变量的赋值方法和取值方法 目录 <零基础看得懂的C语言入门教程>--(二)简单带你了解流程 & ...

  6. ArcGIS for Desktop入门教程_第七章_使用ArcGIS进行空间分析 - ArcGIS知乎-新一代ArcGIS问答社区...

    原文:ArcGIS for Desktop入门教程_第七章_使用ArcGIS进行空间分析 - ArcGIS知乎-新一代ArcGIS问答社区 1 使用ArcGIS进行空间分析 1.1 GIS分析基础 G ...

  7. 后羿采集器怎么导出数据_数据采集教程_智能模式_基本操作流程_后羿采集器

    如果您已经看完了后羿采集器智能模式的第一个采集案例,想必您对其已经有了初步的了解,这里我们再来详细介绍一下智能模式的基本操作流程. 1.输入正确的网址 输入了正确的网址,这个采集任务就成功了一半. 后 ...

  8. ArcGIS for Desktop入门教程_第二章_Desktop简介 - ArcGIS知乎-新一代ArcGIS问答社区

    原文:ArcGIS for Desktop入门教程_第二章_Desktop简介 - ArcGIS知乎-新一代ArcGIS问答社区 1 Desktop简介 1.1 ArcGIS for Desktop ...

  9. Webservice入门教程_教程目录以及地址

    场景 项目专栏: https://blog.csdn.net/BADAO_LIUMANG_QIZHI/column/info/37726 实现 1.WebService入门简介教程 https://b ...

  10. Webservice入门教程_用Eclipse的TCP_IP工具监听请求实现端口转接

    场景 项目专栏: https://blog.csdn.net/BADAO_LIUMANG_QIZHI/column/info/37726 Webservice入门教程_用JDK开发Webservice ...

最新文章

  1. android窗口管理机制
  2. 火山去水印链接_在线批量去水印下载快手图集视频、抖音、火山等平台方法技巧!...
  3. 【初学线段树,看这篇文章准没错】线段树(单点修改and区间修改)acm寒假集训日记22/1/10
  4. 对vue-tree-select的封装
  5. Interface的精髓——《Thinking in Java》随笔025
  6. 有关mysql触发器的感悟_有关mysql触发器实例分享
  7. 计算机科技的主题,科技感十足的电脑桌面,私藏多年,60多个主题和皮肤统统给大家...
  8. 安卓bochs安装linux教程,Ubuntu环境下安装Bochs
  9. 物联卡买回来怎么设置网速快_请自查!物联卡网速快慢,看看你的物联卡显示的是LTE还是4G...
  10. 环境猫室内监测仪——您的空气智能管家
  11. 3500字专家访谈,探访汽车零部件企业争相迈步数字化背后的故事
  12. android 汉字 转 拼音首字母大写,传入汉字字符串, 返回大写拼音首字母
  13. 2020编译原理练习记录(2)
  14. 第一次sql注入的教训与思考
  15. 研发质量保障体系搭建
  16. 7-6厘米换算英尺英寸
  17. 我们正处在大数据时代,浅谈大数据
  18. 李筱懿:视频号如何运营才能出爆款?
  19. 常见面试问题1:ZooKeeper、Redis、Mysql、JVM、Spring、Dubbo
  20. 网络游戏私服行业现状和反私服的措施

热门文章

  1. eclipse java环境配置_Eclipse怎么配置运行环境?
  2. 组态软件MCGS(昆仑通态)初识
  3. wincc v7.3中文版安装教程
  4. CorelDRAWX4的VBA插件开发{一}前言及最简单的小程序写法
  5. Maven系列(一) — Nexus 下载及配置
  6. sklearn学习笔记(3)svm多分类
  7. 因计算机中丢失msvcr120.dll,msvcr120.dll一键修复工具 | 麦田一棵葱
  8. SQL中日期转换函数
  9. c语言math库正弦余弦函数
  10. quartus||仿真图