关于前嗅Forespider爬虫的常见问题答疑

关于前嗅Forespider爬虫的常见问题答疑

奋战在一线为客户答疑的狗蛋儿给小编提供了很多客户经常会问到的问题的素材，小编帮大家整理了一些，快来看看是不是都用的上吧！

一、采集预览没有链接或数据？

（1）查看文档详情：

①需要写脚本：检查文档详情。文档中HTML标签中没有所需的数据信息，是JavaScript脚本生成的。

②被封ip：文档详情404或者***错误等

③需要开启cookie的情况下才能采集数据

（2）浏览器版本：点击设置-网络策略设置可以设置模拟浏览器版本

（3）检查配置：

①网址输入的不对

②网址前没加https协议头

③示例地址1和频道入口地址不一致

④没有链接抽取或数据抽取

⑤数据抽取未选择表单

⑥地址过滤的不对把链接都过滤掉了

⑦没有关联模板等

二、连接数据库失败？

（1）ForeLib：数据路径错误

（2）MySQL：

①数据库名称错误

②本地服务主机：127.0.0.1或者localhost输入错误

③远程：远程的IP填写错误

④端口：默认3306

⑤用户名密码输入错误

三、采集如果被封怎么办？

使用代理ip，点击资源管理，可以添加IP代理，支持动态和静态IP代理。点击网络策略配置-IP代理配置，可以启动使用IP代理。

四、字段设置有变动后的操作？

（1）更改表单名称/字段名称/增减字段：

①在对应模板的数据抽取处重新选定该表单

②删除原有的数据表并新建。

③更改表单字段内字段属性、长度、变量类型等应删除原有的数据列表并新建，同时在对应模板的数据抽取处重新选定该表单

④更改字段取值类型时应删除原有的数据列表并新建，同时在对应模板的数据抽取处重新选定该表单或者选中相应字段后在下方重新选定取值类型

五、会不会采集重复的数据？

不会，本软件有两种自动排重功能

①已采集过数据的会有相应的采集日志，自动排重

②采集到的数据存入数据库时自动排重

六、采集预览有数据，数据采集没有数据？

①还没跑到数据页，可以右键复制到浏览器查看网页是否有问题

②字段有问题，重新检查配置，字段名、属性、长度、变量类型、取值类型等

③采集状态不正常（IP被封，忘记建表单等问题）

七、如何定时更新最新的数据？

设置-采集策略配置-增量采集；任务设置-定时能定时采集。

关于前嗅Forespider爬虫的常见问题答疑相关推荐

超好用的前嗅ForeSpider爬虫软件教程
给大家良心推荐一款超好用的爬虫软件--前嗅ForeSpider爬虫工具,也是最近发现的.本人是数据工作者,每天就是跟各种各样的数据打交道,数据采集必不可少,然而这也是最令我头疼的地方,尝试了各种各样的 ...
超好用的爬虫：前嗅ForeSpider数据采集软件教程
2019独角兽企业重金招聘Python工程师标准>>> 给大家良心推荐一款超好用的爬虫软件--前嗅ForeSpider爬虫工具,也是最近发现的.本人是数据工作者,每天就是跟各种各样的 ...
前嗅ForeSpider教程：数据建表
今天,小编为大家带来的教程是:如何在前嗅ForeSpider中,进行数据建表操作及各注意事项.主要内容包括:快速建表,自由建表,字段参数,数据表的创建,关联与删除,以及表单变更后的配置修改. 一,如何 ...
前嗅ForeSpider教程：验证码设置
当我们遇到某些网站,采集每一条数据都需要输入一条验证码时,就用到了验证码设置.今天,小编为大家详细介绍一下:前嗅ForeSpider中的验证码设置.具体操作如下: 当采集某些网站的数据时,每一条数据都 ...
url获取网站信息不包含网页源文件内的标签_前嗅ForeSpider链接抽取应用场景及链接在源码的html标签里写脚本...
今天,小编给大家带来的教程为:前嗅ForeSpider脚本教程中,链接抽取的应用场景,以及链接在源码的html标签里写脚本的实战教程.具体内容如下: 一.应用场景当需要手动添加链接时,可添加链接脚本 ...
前嗅ForeSpider教程：创建模板
今天,小编为大家带来的教程是:如何在前嗅ForeSpider中创建模板.主要内容有:模板的概念,模板的配置方式,模板的高级选项,具体内容如下: 一,模板的概念模板列表的层级相当于网页跳转的层级.模板 ...
前嗅ForeSpider教程：配置关键词
对于通过关键词,在网页的搜索栏检索的情况,可以在软件中,通过配置关键词实现.那么,今天小编来为大家介绍:如何在前嗅ForeSpider中,配置关键词. 一,关键词配置的步骤第一步:打开关键词采集设置 ...
前嗅ForeSpider教程：IP代理设置
今天,小编主要为大家介绍一下:前嗅ForeSpider中的IP代理设置,主要内容包括:启用IP代理,静态代理设置,动态代理设置,这三大部分.具体内容如下: 一,启用IP代理启用IP代理采集时,需要进 ...
前嗅ForeSpider教程：采集图片/视频/资源文件的链接地址
昨天为大家介绍了如何采集图片/视频/资源文件后,有小伙伴问我如何采集他们的链接地址,今天小编就为大家演示如何采集图片/视频/资源文件的链接地址,操作如下: 第一步:新建任务 ①点击左上角"加 ...

关于前嗅Forespider爬虫的常见问题答疑

关于前嗅Forespider爬虫的常见问题答疑相关推荐

最新文章

热门文章