2019独角兽企业重金招聘Python工程师标准>>>

关于前嗅Forespider爬虫的常见问题答疑

奋战在一线为客户答疑的狗蛋儿给小编提供了很多客户经常会问到的问题的素材，小编帮大家整理了一些，快来看看是不是都用的上吧！

一、采集预览没有链接或数据？

（1）查看文档详情：

①需要写脚本：检查文档详情。文档中HTML标签中没有所需的数据信息，是JavaScript脚本生成的。

②被封ip：文档详情404或者***错误等

③需要开启cookie的情况下才能采集数据

（2）浏览器版本：点击设置-网络策略设置可以设置模拟浏览器版本

（3）检查配置：

①网址输入的不对

②网址前没加https协议头

③示例地址1和频道入口地址不一致

④没有链接抽取或数据抽取

⑤数据抽取未选择表单

⑥地址过滤的不对把链接都过滤掉了

⑦没有关联模板等

二、连接数据库失败？

（1）ForeLib：数据路径错误

（2）MySQL：

①数据库名称错误

②本地服务主机：127.0.0.1或者localhost输入错误

③远程：远程的IP填写错误

④端口：默认3306

⑤用户名密码输入错误

三、采集如果被封怎么办？

使用代理ip，点击资源管理，可以添加IP代理，支持动态和静态IP代理。点击网络策略配置-IP代理配置，可以启动使用IP代理。

四、字段设置有变动后的操作？

（1）更改表单名称/字段名称/增减字段：

①在对应模板的数据抽取处重新选定该表单

②删除原有的数据表并新建。

③更改表单字段内字段属性、长度、变量类型等应删除原有的数据列表并新建，同时在对应模板的数据抽取处重新选定该表单

④更改字段取值类型时应删除原有的数据列表并新建，同时在对应模板的数据抽取处重新选定该表单或者选中相应字段后在下方重新选定取值类型

五、会不会采集重复的数据？

不会，本软件有两种自动排重功能

①已采集过数据的会有相应的采集日志，自动排重

②采集到的数据存入数据库时自动排重

六、采集预览有数据，数据采集没有数据？

①还没跑到数据页，可以右键复制到浏览器查看网页是否有问题

②字段有问题，重新检查配置，字段名、属性、长度、变量类型、取值类型等

③采集状态不正常（IP被封，忘记建表单等问题）

七、如何定时更新最新的数据？

设置-采集策略配置-增量采集；任务设置-定时能定时采集。

八、自己配置不出来怎么办？

（1）寻求技术支持

技术顾问QQ：2779623375

（2）定制配置

网站爬取难度较大需要编写脚本，公司能提供专门的技术人员根据用户需求配置相应的模板。

转载于:https://my.oschina.net/forespider/blog/1600788

小编说之“常见问题答疑”相关推荐

Beosin EOS-IDE 升级用户体验及常见问题答疑
上周,我们发布EOS智能合约集成开发环境"Beosin EOS-IDE"后,吸引到了全球许多开发者前来体验,并获得了大量的称赞和认可.为了给开发者带来更统一.优化的体验,便于更轻松 ...
关于前嗅Forespider爬虫的常见问题答疑
关于前嗅Forespider爬虫的常见问题答疑奋战在一线为客户答疑的狗蛋儿给小编提供了很多客户经常会问到的问题的素材,小编帮大家整理了一些,快来看看是不是都用的上吧! 一.采集预览没有 ...
Lotus Notes常见问题答疑(转)
Lotus Notes常见问题答疑(转)[@more@]Lotus Notes常见问题答疑 Lotus Domino/Notes是目前最为流行的文档数据库系统之一,作为群件系统,它利用自身强大的功能使 ...
tap领取礼包显示服务器繁忙,王者争雄必读公告-王者争雄常见问题答疑-昆多手游...
今天小编带来的是王者争雄常见问题答疑,是官方回答的一些玩家经常遇到的问题,让我们一起来看看吧! 1.你们是抄袭/换皮游戏吗? <王者争雄>是<君临天下>正版授权的中国区专区,原 ...
“策小编数洞”开工啦，欢迎来唠两块钱儿的
愁, 数据, 金字塔, 超多指标, 留存率下降, 行为事件分析, 领导让我出报表, 搭建数据分析平台, 不会数据分析怎么办! 让飞天小女警策小编来拯救你,你只需要一个数(树)洞,春天把问题丢进去,秋天 ...
考会计中级职称能用计算机,2019年中级会计职称计算机考试操作常见问题答疑...
[导语]2019年中级会计考试时间已经公布,将于9月7日开始正式考试,考生们都准备好了吗?中级会计考试采用无纸化机考形式,为了帮助大家了解无纸化机考,熟练掌握机考操作,无忧考网将历年机考高频问题进行如 ...
oracle数据库问题吗,Oracle数据库常见问题答疑一
Oracle数据库常见问题答疑一作者:chinaitlab 佚名 2005-10-29 00:00 评论分享 [IT168 服务器学院]Oracle数据库以其强大的功能和稳定性而著称,但同时,在开 ...
看图学习VMWare以及常见问题答疑(转)
看图学习VMWare以及常见问题答疑(转)[@more@] (一) VMWare是什么 VMWare是一个"虚拟机"软件.它使你可以在一台机器上同时运行二个或更多WIN2000 / ...
旁边工位的兄弟，居然“偷看”美女小编直播？
一连数日的高温高湿天在京城开启闷热模式新一轮的高温预警不断出炉大家也"切身"体会到了被高温支配的恐惧非洲人都回家避暑了你还在离开空调庇护时感受绝望怎么办... AWS 技术 ...

小编说之“常见问题答疑”

关于前嗅Forespider爬虫的常见问题答疑

小编说之“常见问题答疑”相关推荐

最新文章

热门文章