对比学习系列论文CPC(一)——CPC概览
目录
- 1.为什么要进行无监督学习?
- 2.进行深度学习的难点有哪些?
- 2.1所以作者提出了评价方法
- 2.2现在主流方法
1.为什么要进行无监督学习?
CPC作者回答的首要问题就是我们使用无监督学习的原因,他表示有监督学的模型有一定的脆弱性,很难进行迁移。也就是鲁棒性不好。
这个主要因为当我们在进行一类任务的classification的时候我们提取出的信息大多和当前这个分类领域相关,所以当我们迁移到其他领域的时候,我们当前的模型就很难适应其他的环境了。
所以为了解决这个问题,我们可以使用无监督的方式学习特征,因为我们没有特定的标签也就不存在标签的特定领域的问题,提取的信息也就更加均衡。
2.进行深度学习的难点有哪些?
这个段落我们一定要考虑到CPC确实出来的特别早,所以当前文章对无监督学习的评价是有所偏差的,所以我们要适当意识到这个东西是有所偏差的。
作者论述到,当前的无监督学习的一个主要难点是很难评价提取出的特征是不是好的特征这就需要提出特征的评价方式。
2.1所以作者提出了评价方法
作者的评价方式是我们将原有的信息映射到压缩空间(维度更低)信息也就更加密集了。之后使用压缩空间的信息再产生一个预测空间特征,之后我们使用预测空间的当前特征预测未来的压缩空间的信息。如果可以成功预测未来空间的压缩空间信息(全序列上使用的压缩空间提取信息的获得方式是一样的)。那么也就说明我们当前提取出的预测信息是正确的,也就说明了当前预测是准确的。
具体的我们可以看一下论文当中给的结构:
这里作者主要是使用了两种特征提取器一个是genc一个是gar
- genc是进行压缩空间的特征提取的,这里是没有上下文信息的;
- gar是预测信息提取的,这里是融入上下文信息的。
之后使用预测信息预测未来的时候,实际上是预测未来的压缩空间的信息。
2.2现在主流方法
现在主流方法是使用提取出的信息进行微调,之后使用微调的轮数和微调的最终结果作为评价标准。
看起来好像CPC的评价标准是优点问题的,但是他关键是早啊,所以还是非常非常非常厉害的。
对比学习系列论文CPC(一)——CPC概览相关推荐
- 自监督对比学习系列论文(二):有引导对比学习--SCCL,SwAV,PCL,SupervisedCon
自监督对比学习 本篇承接前一篇自监督对比学习的介绍自监督对比学习系列论文(一):无引导对比学习–MOCO,SimCLR,这次主要关注于包含先验指导的对比学习,这一指导更进一步的可以区分为聚类指导以及 ...
- 对比学习系列论文CPC(二)—Representation Learning with Contrastive Predictive Coding
0.Abstract 0.1逐句翻译 While supervised learning has enabled great progress in many applications, unsupe ...
- 对比学习系列论文CPCforHAR(一):Contrastive Predictive Coding for Human Activity Recognition
0.Abusurt 0.1逐句翻译 Feature extraction is crucial for human activity recognition (HAR) using body-worn ...
- 对比学习系列论文MoCo v1(二):Momentum Contrast for Unsupervised Visual Representation Learning
0.Abstract 0.1逐句翻译 We present Momentum Contrast (MoCo) for unsupervised visual representation learni ...
- 对比学习系列论文SDCLR(二)-Self-Damaging Contrastive Learning
目录 0.Abstract 0.1逐句翻译 0.2总结 1. Introduction 1.1. Background and Research Gaps 1.1.1逐句翻译 第一段(引出对比学习是否 ...
- 对比学习系列论文SDCLR(一)-Self-Damaging Contrastive Learning论文的概括
1.研究背景(研究的问题) 一切的大背景是对比学习大发展 1.传统深度学习当中就存在这个问题. 2.虽然之前的工作指出,对比学习受到长尾问题影响比较小:但是作者实验发现长尾问题可能对对比学习影响更大. ...
- 对比学习系列论文SimROD(二): A Simple Adaptation Method for Robust Object Detection
0.Abstract 0.1逐句翻译 This paper presents a Simple and effective unsupervised adaptation method for Rob ...
- [论文阅读](对比学习系列)
文章目录 第一阶段:百花齐放 [2018] (CVPR) INstDisc [2019] (CVPR)Unsupervised Embedding Learning via Invariant and ...
- 对比学习系列(二)---MoCo 系列
MoCo 系列 文章目录 MoCo 系列 自监督 MoCo V1 前言 动量对比 Dictionary as a queue Momentum update 代理任务 Shuffling BN 实验 ...
- 对比学习系列(四)---BYOL
BYOL 文章目录 BYOL BYOL 算法对比 BN的作用 参考 附录 指数滑动平均 Group normalization Weight standardization BYOL MoCo,Sim ...
最新文章
- uva 401.Palindromes
- Bootstrap进度条
- php 操作权限,liunx下PHP操作权限文件
- 中国唯一入选 Forrester 领导者象限,阿里云 Serverless 全球领先
- MySQL之三范式:原子性 唯一性 避免数据冗余
- C语言文件操作(五)将txt格式16进制编码转化为txt格式汉字
- 高性能 TCP UDP 通信框架 HP-Socket v3.2.3
- 服务器漏洞处理_wildfly禁用https和8443端口
- 用SVD和字典学习方法重建图像(cifar-10图片集)
- 使用Asp.net MVC 2.0 +.NET 4.0 出现 “从客户端 ... 中检测到有潜在危险的 Request.Form 值”错误的解决办法...
- 使用lua实现redis分布式锁
- 初级计算机处理员试题及答案,计算机软考信息技术处理员模拟试题及答案(1)[5]...
- 电子阅读器行业市场研究分析及未来趋势预测分析
- std::begin、std::end、std::next 用法
- php与drupal,什么是Drupal
- Python基础之告警定义与告警抑制
- 混沌数学之Duffing(杜芬)振子
- C# Environment.StackTrace、StackFrame、Tirm的使用技巧
- springboot社工服务中心管理信息系统 毕业设计-附源码021009
- 中国海油统一身份管理认证平台建设项目入选《ISC 2022十年网安行业代表性案例》之能源行业优秀案例
热门文章
- mysql 存储过程 锁表_MYSQL锁表问题的解决方法
- python哈希类型_python 入门之 – hash(十七)
- linux环境中,检查是否安装某个软件包的几种查看方式
- IOS:APP三种状态下收到推送后的跳转操作
- 初级算法15.有效的字母异位词
- java面试题之spring aop中jdk和cglib哪个动态代理的性能更好?
- java5、java6、java7、java8的新特性
- linux下文件打包、压缩详解
- windows2003事件记录中显示组策略错误,登录域控制器很慢(服务器自身)
- 易语言PHP非对称加密,openssl调用大集合[易语言源码] | 贝贝吧