火车头传数据到mysql_火车头采集器采集文章使用教程实例

任务：

采集某一个指定页面的文章包括(标题、图片、描述、内容)导入到自己网站数据库对应栏目(栏目id为57)，数据库字段分别(title,thumb,descrption,content)。

页面里面第一张图作为文章缩略图，这边一个获取缩略图名称并添加上对应网站路径放入数据库thumb字段，另一个是下载下本地，统一上传到指定文件夹，(当然看软件可以直接ftp，目前还没弄，后期弄了会补充)

1、新建分组--新建任务

2、添加网址+ 编辑获取网址的规则

选择范围在 ul 里面的 li 里面的链接，注意排除重复地址，可以点击下面测试网址采集获取。

可以看到有采集到的文章链接了。

3、采集内容规则

我这边需要采集下面图上展示数据(catid是栏目id，可以将采集到的数据放入对应栏目，设置固定值就好)

着重说下内容和图片的采集，标题和描述同理内容采集

内容采集：

打开一个采集的文章页面，查看源代码(禁了右键的f11 或者在网址前面加上 view-source: 一样可以查看)：

选中文章开头一个位置，截取一段在ctrl+f 搜下是否唯一一段，若是就可以放在位置下图1处，结尾同开头一样。

我截取内容不想里面还带有链接图片可以数据处理，添加--html标签排除--选好确定--确定

还有需要下载页面图片，勾选和填写下面选项

图片采集：

(1)选中范围和内容一样(文章内图片)

(2)数据处理选提取第一张图片内容是：http://www.xxx.com/2017/33/aa.jpg

(3)只要aa.jpg,正则过滤

，获取内容：aa.jpg

(4)数据库存储有前缀，添加上， upload/xxxxx/

找一个页面测试一下，可以看到对应项目都获取到了。

4、发布内容设置，这里以方式三发布到数据库为例子，编辑后回到这边勾选刚定义的模块就好：

5、我需要保存图片到本地，要设置下保存文件的路径(ftp后续会试着使用)。

6、保存，查看刚新建的任务，右键开始任务运行，这边就可以看到文字和图片都下载下来了，数据库里面也可以看到了。

火车头传数据到mysql_火车头采集器采集文章使用教程实例相关推荐

火车头采集器采集https网站以及网站cookie 避免蜘蛛爬虫程序等
火车头采集器采集https网站并不是想象中的困难,有时https网站只是用了这个加密协议,但是事实上的数据并没有加密,所以仍然可以采集. 如果确实有困难的可以通过,http分析软件来确认地址,如H ...
cmsplus实战之仿[我扫网]之十一：安装采集器采集并发布数据
一:安装火车头采集器: 二:导出栏目信息到采集器: 三:配置火车头采集器采集数据并发布:
《火车头采集器采集网页数据》火车头配置规则采集信息文章数据。
此为火车头采集器的页面 *左边建立分组,建议结构都和所需要采集的数据结构一致,不然数据多了起来,很容易混乱. 1, 创建任务起始网址是指你需要抓取的网址,例如:http://www.day.gov. ...
火车头采集器采集图片文章详细教程
火车头采集器怎么采集带图片文章?首先要更好的使用火车头采集器软件,必须需要有基本的HTML基础,能看得懂网页源码,网页结构. 同时如果用到web发布或数据库发布,则对自己文章系统及数据存储结构要非常了 ...
飞飞php2.8采集失败_飞飞影视系统火车头采集器采集发布免登录接口
更改完免登陆代码后,就要写采集库接口了,打开\Lib\Action\Admin目录下的CollectAction.class.php文件,添加一个子函数,函数名称和第五步中的代码相同 //处理火车头 ...
使用FTP上传数据到云服务器 CuteFTP和LeapFTP软件使用教程
从本地向服务器上传大文件时通常需要采用FTP数据传输方式,本文整理了目前常用的CuteFTP和LeapFTP两款FTP第三方服务器软件,教大家如何将本地文件上传至服务器. CuteFTP软件下载 Le ...
文章采集器-免费文章采集器
内容更新是增加现有内容流量的最佳方式之一,也是保持自媒体或网站信息新鲜和更新的好方法.而文章采集器可以让你拥有属于自己的文章库,从此告别没有思路的写文章.网站填充数据内容也不会苦于没有内容填充.当你看 ...
使用后羿采集器采集数据，并导出到MySql数据库中
首先官网网址:http://www.houyicaiji.com/ 下载好以后界面是这样的找一个你需要的网站,这里我选择的是一个明星资讯网站复制好网站后可以智能采集首先工具会给你采集一些样品,让 ...
蓝天采集器Emlog文章远程免登录发布接口插件
Emlog文章远程免登录发布接口插件:进入官方下载下载后在"emlog后台»插件»安装插件"中选中文件并上传安装,或者下载解压后将skycaiji_em文件夹复制到"e ...

火车头传数据到mysql_火车头采集器采集文章使用教程实例

火车头传数据到mysql_火车头采集器采集文章使用教程实例相关推荐

最新文章

热门文章