前嗅ForeSpider教程：IP代理设置
今天，小编主要为大家介绍一下：前嗅ForeSpider中的IP代理设置，主要内容包括：启用IP代理，静态代理设置，动态代理设置，这三大部分。具体内容如下：
一，启用IP代理
启用IP代理采集时，需要进行代理配置。
1.启用IP代理
需选中“启用IP代理”，才能启用IP代理功能。
【启用代理IP】
2.启用代理加速
启用代理加速后，可以在采集过程中自动筛选无效和低效率的代理IP（屏蔽错误率超过50%，请求次数>3次的IP），优先使用高效的代理，提升采集的效率和数据质量。
3.本机IP混用策略
当代理IP失效时，选择是否启用本地网络。
4.添加代理
启用代理后，在IP资源列表中点击“+”添加一个资源，在弹框中填写资源名称，选择静态动态代理，填写请求频率和备注。
【添加IP】
创建好ip资源之后，点击页面右侧的加号，填写IP地址，端口选择代理类型，填写用户名和密码。这样代理IP就配置好了。
二，静态代理配置
以阿布云为例，购买之后会展示在阿布云官网的http隧道中。
1.创建IP资源
启用代理IP之后，点击IP资源列表左侧加号，填写代理资源名称，请求频率对照购买的每秒请求数填写点击确定，并勾选点击保存。
注意：在阿布云买的是动态代理，但是在软件中需设置为静态代理。
【配置静态IP】
2.添加代理
点击右侧加号添加代理，对应关系见下表：
添加好代理账号，点击保存就完成了代理IP的配置。
【配置静态IP】
三，动态代理配置
以无忧代理为例，对照下图配置：
1.创建IP资源
①请求频率：每秒每个IP所允许的请求次数，某些代理商对此有所限制时，需要填写。
②服务端口：对并行运行软件时有效，多进程共享代理IP时需要填写。
【配置动态IP】
2.右侧需要选择的内容
①协议类型：选择代理的协议类型，软件支持http/https/socket代理。
②返回格式：选择动态IP的返回格式。包括未知、Text、Json、XML。
③刷新周期：指代理IP的有效时长。
④请求地址：粘贴代理商的请求地址。
⑤POST DATA：根据代理不同，post请求的情况下填写该内容。
前嗅ForeSpider教程：IP代理设置相关推荐
- 前嗅ForeSpider教程：验证码设置
当我们遇到某些网站,采集每一条数据都需要输入一条验证码时,就用到了验证码设置.今天,小编为大家详细介绍一下:前嗅ForeSpider中的验证码设置.具体操作如下: 当采集某些网站的数据时,每一条数据都 ...
- 前嗅ForeSpider教程：数据建表
今天,小编为大家带来的教程是:如何在前嗅ForeSpider中,进行数据建表操作及各注意事项.主要内容包括:快速建表,自由建表,字段参数,数据表的创建,关联与删除,以及表单变更后的配置修改. 一,如何 ...
- 前嗅ForeSpider教程：创建模板
今天,小编为大家带来的教程是:如何在前嗅ForeSpider中创建模板.主要内容有:模板的概念,模板的配置方式,模板的高级选项,具体内容如下: 一,模板的概念 模板列表的层级相当于网页跳转的层级.模板 ...
- 前嗅ForeSpider教程：配置关键词
对于通过关键词,在网页的搜索栏检索的情况,可以在软件中,通过配置关键词实现.那么,今天小编来为大家介绍:如何在前嗅ForeSpider中,配置关键词. 一,关键词配置的步骤 第一步:打开关键词采集设置 ...
- 前嗅ForeSpider教程：采集图片/视频/资源文件的链接地址
昨天为大家介绍了如何采集图片/视频/资源文件后,有小伙伴问我如何采集他们的链接地址,今天小编就为大家演示如何采集图片/视频/资源文件的链接地址,操作如下: 第一步:新建任务 ①点击左上角"加 ...
- 前嗅ForeSpider教程：如何创建新任务
从今天起,小编开始教大家逐步进行可视化配置操作.首先,我们来学习第一步:创建新任务,主要包括创建新任务的操作步骤,操作中的注意事项两部分内容. 一,创建新任务操作步骤: 1.添加新任务 点击任务列表右 ...
- 前嗅ForeSpider教程：采集图片/视频/资源文件的链接地址 1
2019独角兽企业重金招聘Python工程师标准>>> 以昵图网的美食海报为例,采集所有图片图片: 第一步:新建任务 ①点击左上角"加号"新建任务,如图1: [图 ...
- java 58同城 抓取_前嗅ForeSpider教程：采集58同城
以58同城·便当为例,通过社保医疗链接到文章列表,由列表进入文章页采集正文数据: 第一步:新建任务 ①点击左上角"加号"新建任务,如图1: [图1] ②在弹窗里填写采集地址,任务名 ...
- 前嗅ForeSpider教程：采集360问答
今天,小编来教大家如何采集论坛自媒体类网站的数据,以采集360问答为例,为大家进行演示操作,该操作同样适用于其他类似网站: 第一步:新建任务 ①点击左上角"加号"新建任务,如图1: ...
最新文章
- Dataset之BDD100K：BDD100K数据集的简介、下载、使用方法之详细攻略
- ASP.NET 2.0 XML 系列（2）： XML技术
- 深度学习模型保存_解读计算机视觉的深度学习模型
- git命令详解（ 八）
- update关联其他表批量更新数据
- currency abap_Java Currency getDefaultFractionDigits（）方法及示例
- spark KafkaRDD的理解
- Tensorflow基础语法和概念
- oracle设置缓冲区大小设置,描述Oracle优化库高速缓冲区
- 保持 SSH 连接，防止长时间未动作断线
- Mysql高性能总结
- java学习手册下载_java学习手册
- 32位系统支持多大内存 Windows32位/64位系统最大支持内存详解
- AlertManager警报通知 E-mail 微信 模板
- 剖析kubernetes集群内部DNS解析原理
- 飞机大战学习心得（Dev-C++）
- php实现ctrl+f,Ctrl+F 到底有多好用？这 5 个骚操作，让你变身快捷键达人
- 2016..8.25 切题总结
- SPSSAU综合评价方法汇总
- blackjack - pwnable