DEDECMS之九 文章采集
到很多网友都为织梦(DEDECMS)的采集教程头疼,的确,官方出的教程太笼统了,什么都没说,换个网站你什么都做不了,这个教程是最详尽的教程,让你一看即会!
一、列表采集
第一步、我们打开织梦后台点击采集——采集节点管理——增加新节点
第七步、填写文章网址匹配规则了,回到文章列表页
右键查看源文件找到区域开始的HTML,就是找文章列表开始的标志。
我们很容易的找到了如图中的“新闻列表”。从这里开始,后面就是文章列表里,再找文章列表结束的HTML
就是这个了,一个很容易找到的标志
如果链接中含有图片:
不处理采集为缩略图这里根据自己的需要选择
二、内容页采集
第八步、对区域网址进行再次筛选:
(使用正则表达式)必须包含:(优先级高于后者)
不能包含:打开源文件,我们可以很清楚的看到,文章链接都是以.html结束的所以,我们在必须包含后面填.html如果遇到有些列表很麻烦,还可以填写后面的不能包含
点击保存设置进入下一步,可以看到我们获得的文章网址
看到这些就是对的了,我们保存信息进入下一步设置内容字段获取规则
我们看看文章有没有分页,随便进入一篇文章看看。。我们看到这里的文章没有分页
所以这里的我们就默认了
我们现在来找文章标题等等随便进入一篇文章,右键查看源文件
看看这些
依照源码填写
第九步、填写文章内容的开始,结束和上面的一样,找到开始和结束标志.
开始部分如图
结束部分如图
最后填写如图
第十步、你想过滤文章中的什么内容就到过滤规则里写吧,比如要过滤文章中的图片,
选择常用规则,如图
再勾选IMG,如图
然后确定
这样我们就把正文中的图片过滤了
第十一步、设置完毕后点保存设置并预览,如图
这样一个采集规则就写好了,很简单吧有些网站很难写,可要多下点功夫了哦
我们点保存并开始采集——开始采集网页一会的功夫就采集完了
看看我们采集到的文章
最后、导出数据
首先选择要导入到的栏目,按“请选择”那里即可在弹出的窗口中选择你需要导入的栏目发布选项这里一般默认即可,除非你不想马上发布。每批导入默认是30条,这里修改与否都无所谓,附带选项一般选“排除重复标题”,至于自动生成HTML那个选项建议先别生成,因为我们还要去批量提取摘要和关键字。
文章标题
匹配规则:<title>[内容]</title>
过滤规则:{dede:trimreplace=""}_XXX网站{/dede:trim}
来自百度http://jingyan.baidu.com/article/642c9d34ab179b644a46f782.html
三、采集规则补充
(一)文字过滤与替换的方法
1.去除超链接,这种最常用。
{dede:trim replace=”}<a([^>]*)>{/dede:trim}
{dede:trim replace=”}</a>{/dede:trim}
如果填成这样,那就把链接的文本也一起去掉了
{dede:trim replace=”}<a([^>]*)>(.*)</a>{/dede:trim}
2.过滤JS调用广告,比如GG的广告,就加个这样的:
{dede:trim replace=”}<script([^>]*)>(.*)</script>{/dede:trim}
3.过滤div标签。
这个很重要,如果没过滤干净则可能使发布出来的文章版面错位, 目前大多数遇到采集后错位的原因在此。
{dede:trim replace=”}<div([^.]*)>{/dede:trim}
{dede:trim replace=”}</div>{/dede:trim}
有的时候也需要这样子过滤:
{dede:trim replace=”}<div 选择器>(.*)</div>{/dede:trim}
4.其它的过滤规则可以照以上规律进行推出。
5.过滤摘要和关键字使用,经常要用到。
{dede:trim replace=”}{/dede:trim}
6.简单替换。
{dede:trim replace=’替换后的词语’}要替换的词语{/dede:trim}
7.去掉src
{dede:trim replace=""}src="([^"]*)"{/dede:trim}
(二)内容页指定作者、来源
指定value值即可实现:
{dede:item field='writer' value='小军' isunit='' isdown=''}
{dede:match}{/dede:match}
{dede:function}{/dede:function}
{/dede:item}
{dede:item field='source' value='军事网' isunit='' isdown=''}
{dede:match}{/dede:match}
{dede:function}{/dede:function}
{/dede:item}
(三)内容页分页采集
在“内容分页导航所在的区域匹配规则:”,填写规则,如 <ul class="pages>[内容]</ul>,然后选择“全部列出的分页列表”。
遭遇情景:如果选择“上下页形式或不完整的分页列表”,列表页的所有文章内容全部一起写入
DEDECMS之九 文章采集相关推荐
- dedecms 无法采集 php.ini,解决织梦DEDECMS换空间不能采集的问题
解决织梦DEDECMS换空间不能采集的问题 织梦自带采集不能用了.如何解决?这个问题比较宽泛.本文主要说明如下情况不能采集的 1.织梦采集规则没有不能采集,点采集没有反映,并且读取列表网址的时候就失败 ...
- 公众号文章采集:原理与方法
自媒体时代,公众号已成为了广大人民群众获取信息的主要渠道之一.但是,很多公众号的文章并非原创,而是采集自其他渠道.那么,这些公众号是如何进行文章采集的呢?本文将逐步分析讨论公众号文章采集的原理与方法. ...
- ubuntu 压缩率最高的软件_不用写采集规则也可以轻松采集网站文章,揭秘一款明泽文章采集软件的工作原理...
一直以来,大家都在用各种各样的采集器或网站自带的采集功能,如织梦采集侠.火车头采集器.八爪鱼采集器等,这些采集软件都有一个共同的特点,就是要编写采集规则才能采集到文章,这个技术性的问题,对于新手来说, ...
- python采集微信公众号_Python爬虫,微信公众号文章采集工具
#微信公众号文章采集 import requests from lxml import etree import re import os def get_con(url): #url="h ...
- 微信公众号采集,历史文章采集,万能key采集,点赞阅读评论采集
微信采集的重点就是微信公众号相关的数据.主要是发布的文章.其他的话还有点赞阅读以及公众号的账号信息等.下面会大家一一说明如何采集.以及采集的一些限制. 首先是数据来源.主要分为两大块.客户端采集和搜狗 ...
- Discuz文章采集工具,Dz文章采集发布工具
Discuz文章采集工具可以为我们的Discuz论坛提供源源不断您的素材和话题,通过我们的热门文章,我们可以保持我们的Discuz论坛的活跃度.只需要输入我们的关键词,我们就可以对热门下拉文章进行采集 ...
- 微信公众号文章采集的一些基础概念
此文已在本人知乎号上首发: 微信公众号文章采集的一些基础概念 背景 经常有人问我微信文章采集相关的基础常识问题,对于新手来说,一些概念性的问题确实不太了解.但经常被问得也烦了,所以单独写一篇文章总结一 ...
- 文章采集软件怎么采集文章?
现在有很多小伙伴看到网络上的很多文章非常喜欢,但是却不知道该怎么采集下来,这里呢,小编就给大家详细的讲解一下,使用文章采集工具,采集想要的文章 首先我们准备好文章采集工具 首先点击导入作者ID,然后设 ...
- 大数据信息资料采集:刘润公众号历史商业评论文章采集评论搜集
大数据信息资料采集:刘润公众号历史商业评论文章采集评论搜集 公众号历史文章评论内容采集,导出表格格式. 采集到的内容包含:文章标题,发布时间,所属栏目,评论ID,评论内容,该评论得到的点赞数,号主评论 ...
最新文章
- 前沿|8种面部表情实时追踪,你的喜怒哀乐全被AI看穿了
- 架构师之路 — 分布式系统 — gRPC 谷歌远程过程调用
- [BOI2019][第K大问题][暴力剪枝]D2T1 Olympiads
- Angle Finder(角度测量)
- 第一章 TensorFlow基础——python语法(三)
- 告别刷抖音!30秒一个Python小例子,总有一款适合你
- 计算机专业运动会口号,运动会口号押韵有气势 计算机系霸气口号
- 远程服务器登入信息,远程登录服务器查看信息
- 商城app源码_多商户商城源码系统有什么优势呢?
- Java程序设计基础作业目录(作业笔记)
- Tesseract-OCR4.0识别中文与训练字库实例
- python自动点击网页按钮_python网页自动化操作
- 【百度大脑新品体验】车牌识别
- 论文:Linguistic Structure Guided Context Modeling for Referring Image Segmentation
- SQL server实验练习1
- 安装java后怎么使用
- VB作业之字母大小写的转换
- 从世界五百强及中国五百强企业网站设计风格看当前WEB设计潮流
- encode与decode讲解
- 【MySQL】带你了解MySQL 如何学习MySQL以及MySQL的用途以及意义