来源:DeepHub IMBA
本文约1500字,建议阅读5分钟
本文为你分享5篇最新的嵌入研究论文。


1、Continual Learning for Visual Search with Backward Consistent Feature Embedding

Timmy S. T. Wan, Jun-Cheng Chen, Tzer-Yi Wu, Chu-Song Chen

https://arxiv.org/pdf/2205.13384

在图像搜索算法中,数据库中的图片会随着时间的增长而增加。但是现有方法依赖于在整个数据集上训练的模型,而忽略了模型的不断更新。随着模型的更新,新模型必须为整个图库集重新提取特征以保持兼容的特征空间,这为大型图库集带来了很高的计算成本。为了解决长期视觉搜索的问题,论文引入了一种持续学习 (CL) 方法,该方法可以处理增量增长的图片集。该方法强制执行会话间数据一致性和模型一致性还有不同训练会话(数据增长后的重新训练)损失区别来进行持续学习,解决方案还解决了为模糊边界添加新类的情况,而不假设所有类别在开始时和模型更新期间都已知的。这应该是第一个解决后向一致特征嵌入问题并允许在新会话中出现新类的 CL 方法。对各种基准的广泛实验表明论文的方法在各种设置下的有效性

2、Bootstrap Confidence Regions for Learned Feature Embeddings

Kris Sankaran

https://arxiv.org/pdf/2202.00180

算法特征学习器为非矩阵结构化信号(如图像、音频、文本和图形)提供高维向量表示。从这些表示派生的低维投影可用于探索这些数据集合之间的变化。但是目前尚不清楚如何评估与这些预测相关的不确定性。论文采用bootstrapping principal components analysis的方法,以适应从非矩阵数据中学习特征。论文凭经验比较了派生的置信区域,影响特征学习和引导的不同因素。该方法在空间蛋白质组数据上进行了说明。代码、数据和训练模型使用R语言进行开发并且已开源。

3、Who supervises the supervisor? Model monitoring in production using deep featureembeddings with applications to workpiece inspection

Michael Banf, Gregor Steinhagen

https://arxiv.org/pdf/2201.06599

自监督领域在近期有了的巨大进步。但是这些模型变的强大的同时也变得越来越复杂,并且不透明和也无法解释。这里面临的一个主要挑战是监控这些机器学习系统的实时部署,并在遇到可能影响模型性能的事件时发出警报。特别是目前的监督分类器通常是在基础数据分布的平稳性假设下构建的。比如说针对一组材料表面缺陷进行训练的视觉检测系统通常无法适应甚至识别数据分布的逐渐变化——即所谓的“数据漂移”问题(例如新型表面缺陷的出现)。如果出现这种情况可能会导致非常严重的错误预测,例如来自新缺陷类别的样本被归类为无缺陷。所以提供对分类器性能的实时跟踪,并且监控额外错误类别以及在分类器重新训练方面手动干预是十分必要的。这篇论文提出了一个在有监督的分类系统之上的无监督框架,它从而利用其内部深度特征表示作为代理来跟踪部署期间数据分布的变化,从而预测分类器性能下降

4、Extreme Beam-forming with Impedance Metasurfaces Featuring Embedded Sources and Auxiliary Surface Wave Optimization

Gengyu Xu, Vasileios G. Ataloglou, Sean V. Hum, George V. Eleftheriades

https://arxiv.org/pdf/2107.12025

论文提出了一种端到端的紧凑型无源无损超表面(MTS)天线的设计方案。整个系统由单层无功阻抗MTS组成,建立了一种精确高效的基于 体积-表面 积分方程的器件模型,并将其作为快速优化器件性能的基础。论文推导出了几种可行性约束,这些约束在实际应用中可以显著提高MTS天线的功率效率和带宽。全波数值模拟证实了该方法的有效性,以及综合设计的极端场变换能力。


5、ContextNet: A Click-Through Rate Prediction Framework Using Contextual information to Refine Feature Embedding

Zhiqiang Wang, Qingyun She, PengTao Zhang, Junlin Zhang

https://arxiv.org/pdf/2107.12025

点击率 (CTR) 估计是个性化广告和推荐系统中的一项基本任务,对于排名模型有效捕捉复杂的高阶特征非常重要。论文的灵感来自 ELMO 和 Bert 在 NLP 领域的成功,它们可以动态地细化词嵌入并根据单词出现的上下文句子信息,所以论文认为在CTR估计任务中根据输入实例中包含的上下文信息逐层动态地细化每个特征的嵌入也很重要,可以通过这种方式有效地捕获每个特征的有用特征交互。提出了一种名为 ContextNet 的新型 CTR 框架,该框架通过根据输入上下文动态细化每个特征的嵌入来隐式建模高阶特征交互。具体来说,ContextNet 由两个关键组件组成:上下文嵌入模块和 ContextNet 块。上下文嵌入模块从输入实例中聚合每个特征的上下文信息,ContextNet 块逐层维护每个特征的嵌入,并通过将上下文高阶交互信息合并到特征嵌入中来动态地细化其表示。为了使框架具体化,还通过在 ContextNet 块中引入线性上下文嵌入网络和两个非线性映射子网络,在该框架下提出了两个模型(ContextNet-PFFN 和 ContextNet-SFFN)。通过对四个真实世界的数据集进行了广泛的实验,实验结果表明,ContextNet-PFFN 和 ContextNet-SFFN 模型明显优于 DeepFM 和 xDeepFM 等最先进的模型。

编辑:于腾凯

5篇关于特征嵌入的研究论文推荐相关推荐

  1. 【ICLR 2022】 10篇机器学习研究论文推荐

    ICLR,即国际表征学习大会,是公认的深度学习领域国际顶级会议之一,关注有关深度学习各个方面的前沿研究,在人工智能.统计和数据科学领域以及机器视觉.语音识别.文本理解等重要应用领域中发布了众多极其有影 ...

  2. 基于神经网络集成学习的5篇研究论文推荐

    Evaluating Deep Neural Network Ensembles by Majority Voting cum Meta-Learning scheme https://arxiv.o ...

  3. Google最新论文:大规模深度推荐模型的特征嵌入问题有解了!

    转载自深度传送门(ID: gh_5faae7b50fc5) 导读:本文主要介绍下Google在大规模深度推荐模型上关于特征嵌入的最新论文. 一.背景 大部分的深度学习模型主要包含如下的两大模块:输入模 ...

  4. 谷歌引入自动网络设计,高效解决大规模深度推荐模型的特征嵌入问题

    来源 | 深度传送门(ID:gh_5faae7b50fc5) 导读:本文主要介绍Google在大规模深度推荐模型上关于特征嵌入的最新论文. 一.背景 大部分的深度学习模型主要包含如下的两大模块:输入模 ...

  5. 前沿成果 | 澳鹏Appen团队两篇研究论文被国际顶会收录

    近日,澳鹏Appen数据科学团队发表的两篇论文--<Pair DETR: Contrastive Learning Speeds Up DETR Training>及<Compari ...

  6. 人工智能发展史论文_有史以来15篇最佳AI研究论文

    人工智能发展史论文 TensorFlow:异构分布式系统上的大规模机器学习(TensorFlow: Large-Scale Machine Learning on Heterogeneous Dist ...

  7. 68页PPT教你撰写一篇优秀的机器学习研究论文!

    来源:新智元 本文共多图,建议阅读15分钟. 本文从研究人员.审稿人和读者的角度来探讨优秀论文的写作过程,值得细细品味. [ 导读 ]近期,Deepmind 和纽约大学研究科学家一起作了一场关于如何撰 ...

  8. #今日论文推荐#掰开揉碎一篇Molecular Cancer文章来看circRNA的RBP机制研究是如何展开的

    #今日论文推荐#掰开揉碎一篇Molecular Cancer文章来看circRNA的RBP机制研究是如何展开的 众所周知,基础研究中难的不是实验,而是如何找到有研究价值的主角分子,并将主角分子的故事讲 ...

  9. 多篇《Nature》和《Science》关于马约拉纳费米子的研究论文近日被撤稿

    马约拉纳费米子(英语:Majorana fermion)是一种假设粒子,它的反粒子就是它本身,1937年,埃托雷·马约拉纳发表论文假想这种粒子存在,因此而命名.与之相异,狄拉克费米子,指的是反粒子与自 ...

最新文章

  1. 6月技术福利限时免费领
  2. java oralce merge_mybatis 使用oracle merge into 语句踩坑实录(示例代码)
  3. OSSIM系统的安装教程(超详细)
  4. winform调用webservice增删查改_教你分别用数据库与云函数实现“增删查改”
  5. Visual Studio Code 常用插件整理
  6. php试题与答案(二),php面试题附答案二
  7. 学python有前途吗-现在学Python还有前途吗?能做什么?
  8. MTK6589平板上launcher的一些小修改
  9. 【代理知识】绝对值得珍藏!(转)
  10. VMware 虚拟机开启Ip地址自动更换解决
  11. 2020 ACL《CoGAN》- Aspect Sentiment Classification with Document-level Sentiment Preference Modeling
  12. 为App签名(为apk签名)
  13. java.lang.arrayindexoutofboundsexception: Index 13 out of bounds for length 13
  14. 服务器进入bios界面重装系统,电脑开机怎么进入bios界面(重装系统卡在首次使用)...
  15. 下载 com.mob.sdk:MobSDK 失败处理
  16. 【重要】Arrhythmia classification 心律失常大专题
  17. TCGA_RNA-seq_limma分析
  18. [golang gin框架] 6.Gin GORM简介以及安装
  19. 使用SDL2播放yuv文件,采用C++实现SDL2视频播放器
  20. p-中位模型与pareto解集

热门文章

  1. MyBaties-Plus 批量入库
  2. 好久不见,甚是想念!!!
  3. 三星s8怎么分屏操作_领跑折叠屏手机 三星Galaxy Z Fold2 5G魅力何在
  4. 三星华为都有折叠屏手机了,苹果终于不甘落后,开始研发折叠屏iPhone!
  5. IPX/SPX协议概要
  6. MediaPlayer播放歌曲
  7. 不同波段成像(数字图像)
  8. #Linux的边边角角# 之 EPERM错误和setuid魔法
  9. c语言参悟之旅,C语言参悟之旅
  10. mysql做十亿条数据查询_数据库优化:mysql数据库单机数十亿数据查询设计