八爪鱼-自定义模式采集数据

使用工具:八爪鱼客户端

在八爪鱼客户端中可以使用自定义模式灵活配置采集任务

首先需要确定目标网址和采集需求

以京东为例，我们需要在京东首页输入关键词"手机"，然后去采集全部"手机"搜索结果的数据(八爪鱼工具采集)

第一步复制粘贴目标网址

复制京东首页的网址。粘贴至八爪鱼首页选项的网址输入框中，点击开始采集，点击保存设置，可以观察到八爪鱼自动的打开了这个网页，接下来就是去配置采集流程。

查看采集流程的开关在设置选项里，自定义模式配置里的打开流程图是默认开启的。

第二步输入文本&执行操作&添加流程

输入关键词"手机"，并实现搜索，选中输入框，在弹出的操作提示框中选择输入文字，输入关键词"手机"，点击"确定"保存，注意观察，八爪鱼自动的将"手机"这一关键词自动的填充到了输入框中，并将这个步骤添加到了流程中。

接下来是点击"搜索"按钮，选中"搜索"按钮，在操作提示框中选择"点击该按钮"，同样的，八爪鱼执行了搜索这个操作，并将这个步骤添加进流程中，现在页面中就出现了手机这个商品关键词的搜索结果。

第三步采集全部手机数据

在八爪鱼中是需要建立一个循环去完成的，怎样建立循环呢？

选中第一个手机列表，在弹出的操作提示框中选择"选中子元素"。

这里的"子元素"就是手机列表中的字段，选择"选中子元素"以后提示我们发现30组同类元素，很显然我们是需要采集页面中全部30组手机数据的，所以呢在这里需要选择"选中全部"。

继续选择"采集数据"，注意观察，八爪鱼就自动地生成了一个"循环-提取数据"的步骤，循环中的30条对应着页面中的30个手机数据，提取数据中的字段，对应着每一个手机中的具体字段。

八爪鱼它自动提取了很多字段，有些是我们不需要的，可以选中字段，点击右侧的"垃圾桶"图标，将其删除。

除了删除字段外还可以修改字段的名称，如修改成(价格，标题)字段。

第四步实现翻页

现在这个流程采集的是第一页数据，如果我们需要翻页采集，该如何操作？

选中并点击页面中的"下一页"按钮，在出现的操作提示框中选择"循环点击下一页"。

注意观察，八爪鱼建立了一个"循环翻页"的步骤，有了循环翻页步骤以后，八爪鱼就能实现全自动翻页了。

第五步设置向下滚动

京东这个网站比较特别，在出现手机搜索结果以后，需要向下滚动页面，才会加载出所有的手机列表。

相对应的在八爪鱼中也需要设置向下滚动，选中八爪鱼流程中的"点击元素"步骤。

在滚动页面选项中勾选"页面加载完成后向下滚动"。

滚动次数设置为"10"，每次间隔设置为"0.5"，滚动方式设置为"向下滚动一屏"，点击"确定"保存。

点击"点击翻页"步骤，进行同样的设置，现在一个完整的采集任务就配置好了。启动采集后，八爪鱼就会按照我们的配置全自动的去采集每一页手机数据。

第六步采集启动运行

点击"开始采集"按钮，选择"启动本地采集"，本地采集就是指用数据采集到本地文件。

运行后，八爪鱼全自动的打开一个采集任务，并按照配置开始采集数据。

数据采集完成以后会弹出来一个提示框，选择"导出数据"，以需要的格式进行导出(Excel[xlsx]，csv，html，Json格式以及[sql，MySQL，Oracle]数据库等)，图中举例选择的是"Excel[xlsx]"格式进行导出。

点击"确定"，即可以看到最终的导出结果。

自定义配置的任务会保存在"我的任务"中，点击"我的任务"，找到刚才自定义创建的任务，点击更多操作下的"···"，选择查看数据选项下的"本地采集数据"，可以查看此任务采集到的数据。

当然在此也可以进行数据的导出。

自定义配置中的任务是可以多次启动和二次编辑的，点击此处的"启动本地采集"图标，可快速启动本地采集。

点击任务名，进入到任务配置页面。

在这里是可以修改任务配置的，例如在输入文字步骤，当前输入的是"手机"关键词，我可以将其更换成"电脑"。

自定义配置任务方法一：在首页输入框中输入网址去自定义配置任务的。

自定义配置任务方法二：点击左侧的新建-自定义任务，直接开始输入网址进行自定义任务的配置。