【论文解读】用Dropout思想做特征选择保证效果,还兼顾了线上性能?

作者：炼丹小生

这篇论文《Towards a Better Tradeoff between Effectiveness and Efficiency in Pre-Ranking: A Learnable Feature Selection based Approach》教会了我们如何做粗排模型兼顾模型的效率和效果.提出了可学习的特征选择方法FSCD,并在真实电商系统中应用.

简介

如上图(a)所示,受系统时延约束,推荐系统往往是多阶段的.再看图(b),论文提到简单的representation-focused(RF)模型会严重制约我们模型的表达能力(如传统双塔,最后一层向量Dot,就是简单RF模型),主要是缺少特征交叉.所以我们能否在特征上做优化,只保留效果好的特征又能保证模型推断效率更高,用上和精排一样interaction-focused(IF)的模型呢?当然是可以的!

FSCD

粗排用上精排的模型并且要保持高效率,也就意味着在某些方面要做牺牲,那果断就是在特征上入手了,因此IF的粗排模型用上的特征是精排的子集.如上图所示,FSCD方法中效果是通过梯度优化,效率是通过特征维度的正则化来保证.在训练过程中就可以挖掘到一批有用的特征.

对于每个特征而言,都有个可学习的dropout参数Z

【论文解读】用Dropout思想做特征选择保证效果,还兼顾了线上性能?相关推荐

用Dropout思想做特征选择，保证效果还兼顾了线上性能?
这篇论文<Towards a Better Tradeoff between Effectiveness and Efficiency in Pre-Ranking: A Learnable F ...
在线做题测试的软件,可以实现线上答题竞赛的工具哪个实用
企业做培训考试.教师给学生做练习测试.单位举办知识答题竞赛,我们都可以选择采取线上答题竞赛的模式,既方便又省事,还节省成本,实在的再好不过的方式了. 我们要实现线上答题竞赛,可以用什么工具呢?什么样的 ...
ACL 2018论文解读 | 基于排序思想的弱监督关系抽取选种与降噪算法
在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考. 在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果. 点击本文底部的「阅读原文」即刻加入社区 ...
【论文解读】LaneNet 基于实体分割的端到端车道线检测
前言这是一种端到端的车道线检测方法,包含 LanNet + H-Net 两个网络模型. LanNet 是一种多任务模型,它将实例分割任务拆解成"语义分割"和"对像素 ...
论文解读丨【CVPR 2022】不使用人工标注提升文字识别器性能
摘要:本文提出了一种针对文字识别的半监督方法.区别于常见的半监督方法,本文的针对文字识别这类序列识别问题做出了特定的设计. 本文分享自华为云社区<[CVPR 2022] 不使用人工标注提升文字识 ...
【论文解读】经典CNN对2D3D掌纹及掌静脉识别的性能评估
掌纹识别(palmprint recognition)及掌静脉识别(palm vein recognition)作为两种新兴的生物特征识别技术已经引起广泛关注.最近几年,深度学习已经成为人工智能领域最 ...
阿里最新论文解读：考虑时空域影响的点击率预估模型DSTN
作者 | 石晓文转载自小小挖掘机(ID: wAIsjwj) [导语]:在本文中,阿里的算法人员同时考虑空间域信息和时间域信息,来进行广告的点击率预估. 什么是时空域?我们可以分解为空间域(spati ...
ICNet模型介绍与论文解读
ICNet模型介绍 Semantic Segmentation--ICNet for Real-Time Semantic Segmentation on High-Resolution Images ...
ACM SIGIR 2022 | 美团技术团队精选论文解读
今年,美团技术团队有多篇论文被ACM SIGIR 2022收录,这些论文涵盖了观点标签生成.跨域情感分类.对话摘要领域迁移.跨域检索.点击率预估.对话主题分割等多个技术领域.本文精选了10篇论文做简要 ...

【论文解读】用Dropout思想做特征选择保证效果,还兼顾了线上性能?

【论文解读】用Dropout思想做特征选择保证效果,还兼顾了线上性能?相关推荐

最新文章

热门文章