信息采集-火车采集器

最近一位同事提出要采集alibaba上的公司信息，关键词是工业加湿器。

主管把任务分配给我后，推荐了一款软件，火车采集器（真心不是做广告）。

研究了两天，还算简单，除了正则表达式似懂非懂，其他都还好，也成功的采集了alibaba的信息。

做点笔记：

1、可视化Xpath虽然很好用，但alibaba的页面却不支持，原因不明，报错。

2、多级网址获取，会从上往下一条一条的遍历搜索，太多条的话数据量很大。

3、建议用前后提取，html代码简单明了，用firebug查看方便。

4、前后截取不一定要是标签，也可以是标签内的文字。

5、标签编辑-数据处理（添加-HTML标签排除很有用），建议全选，可以去除很多空格。

6、同样，数据处理中的替换也很有用。

7、内容过滤，可以用来排除重复的公司，设置公司名的标签不重复和非空。

8、尽可能用多页管理来进行生成分页，而不是直接进行采集，速度要快很多很多。。

9、发布内容（导出内容），免费版不让导出excel，可以在任务上右键，打开Data下任务文件夹，然后用数据库文件导出excel。

转载于:https://www.cnblogs.com/baigezhengliu321/archive/2013/03/26/3043964.html

信息采集-火车采集器相关推荐

python调用按键精灵插件_谈一谈火车采集器的插件使用
火车采集器.火车浏览器这两款软件大家在平常工作中应该经常使用吧,有数据采集需求和各类公司运营人员想必都亲自使用过这个软件吧! 今天小编就与大家分享下两款软件所支持的插件,并讲解下每款插件的功能.一 ...
火车采集器-对在固定网页上进行更新的文件的下载方法
遇到的案例是这样的,在http://www.xxx.com/index.html 上有多个pdf的下载连接,不定时会有新的pdf增加(下载链接有变化),现在需要监控网页变化,并下载新增加的文件. 直接 ...
php耳朵音乐cns_PHPCNS火车采集器使用教程
火车采集器(LocoySpider) 是一个供各大主流文章系统,论坛系统等使用的多线程内容采集发布程序.使用火车采集器,你可以瞬间建立一个拥有庞大内容的网站.系统支持远程图片下载,图片批量水印,Fla ...
网络爬虫软件（火车采集器）
网络爬虫软件(火车采集器) 软件下载:火车采集器下载好软件后注册一个账号安装完成后登录账号输入起始网址如图: 保存后点击开始如图:
火车采集器免费版 html标签排除,Html代码白名单过滤插件(C#)
Html代码白名单过滤插件(C#) 作者:小文发布于:2010-10-18 9:28 Monday 分类:免费插件该插件将过滤掉所有除需要外的html代码.在处理前您需要使用采集器过滤js,css ...
Dedecms 火车采集器免登陆发布接口，自动生成上下篇、栏目页、首页
<?php /********密码验证***********/ $password='123456'; //这个密码是登陆验证用的.您需要在模块里设置和这里一样的密码....注意一定需要修改. ...
【自动化】火车头采集器
火车采集器(LocoySpider) 是一个供各大主流文章系统,论坛系统等使用的多线程内容采集发布程序.使用火车采集器,你可以瞬间建立一个拥有庞大内容的网站.系统支持远程图片下载,图片批量水印,Fla ...
php网站采集器,PHP采网址(列表页处理)插件的开发方法
PHP采网址(列表页处理)插件的开发方法作者:小文发布于:2010-9-15 11:12 Wednesday 分类:软件培训火车采集器中列表页插件是用来处理采网址时采集的网页源代码的.插件可以对 ...
小白如何选择采集器-爬虫
小白如何选择采集器-爬虫不管是小白,还是大牛,选择一款有用的采集器使你的工作事半功倍!! 目录小白如何选择采集器-爬虫前言一.爬虫采集器优点是什么? 二.各种采集器的特点总结前言爬虫vs ...

信息采集-火车采集器

信息采集-火车采集器相关推荐

最新文章

热门文章