Baseline needs more love

2024-04-25 11:39:50

Baseline needs more love
- 1.Paper Info
- 2.Paper highlights
  - 2.1.Highlights
  - 2.2.Other words

Baseline needs more love

Author: Cao Shengming
Email: caoshengming@trio.ai
Company: Trio 北京（三角兽）科技有限公司

1.Paper Info

Release time: 24 May 2018
link: https://arxiv.org/abs/1805.09843
code: https://github.com/dinghanshen/SWEM

2.Paper highlights

2.1.Highlights

文章的亮点是对于我们最熟悉的词向量，进行了精细化的探讨。文章将模型训练所涉及的参数分类了两个部分，分别是 embedding paremeters 和 model parameters。这其实就是无监督学习引入的参量，和具体有监督学习附带的参量。而这些参量是否更新，以及后者的维度对于模型表达能力的影响等问题，作者也进行了相应的探讨。

对我们的启示就是对于一些简单的任务来说，单纯的词向量变换和更新，就可以满足需求了。这里的变换主要涉及三种，max,average 和 hierarchical,这其实就是用 pooling 操作取代了传统的操作，max 取得是核心元素（距离短），average 取得是平均结果（距离长），而 hierarchical 则采用窗口概念，将操作单元转换为 n-gram（n 为窗口大小），这样就保留了一部分语序信息在里边。

作者针对词序信息（word-order）信息在 NLP 相关任务中的作用，实际与直观上的一致，对于序列标注等对语序依赖较强的任务，还是 LSTM、CNN 等操作更为有效。这里作者给了这些网络一个提法，叫 composition function，我们就可以理解为一个映射函数，会将输入映射到特征空间进行操作。

在参量大幅度下降，而指标又不会下降太多的情况下，采取简单词向量变换的方法不失为一种合理的选择。

作者整篇行文也十分严谨，文末已经提到了模型所涉及的过拟合问题，因为所测试的语料都是一些开放数据集，可能这些结论在小规模数据集上的结果表现尚可，但是其泛化能力或在大规模数据集上的表现还有待考证。我也很有兴趣，作者如何在 simple embedding 上考虑一系列的惩罚措施。后续会继续跟进。

2.2.Other words

以后会不定期、长期更新相关论文的理解，比较有新意的会解析代码或者做迁移实验，希望可以多多交流。

Baseline needs more love相关推荐

徐韬：CCF - 个贷违约预测Baseline
徐韬是华北电力大学数理系大四的学生,Datawhale成员/Dreamtech成员,参加了多期Datawhale的组队学习,也在天池/CCF/讯飞等比赛中取得了不错的成绩,现保送大连理工大学软件学院深 ...
【直播】王茂霖：二手车交易价格预测 Baseline 提高（河北高校数据挖掘邀请赛）
二手车交易价格预测 Baseline 提高目前河北高校数据挖掘邀请赛正在如火如荼的进行中.为了大家更好的参赛,王茂霖分享了从0梳理1场数据挖掘赛事!,完整梳理了从环境准备.数据读取.数据分析. ...
图片分类赛官方baseline解读！
01 赛题背景为进一步加快"6+5+6+1"西安现代产业以及养老服务等行业领域急需紧缺高技能人才培养,动员广大职工在迎十四运创文明城.建设国家中心城市.助力西安新时代追赶超越高质 ...
科大讯飞CV赛baseline：图像分类实践+0.55
赛题名称:科大讯飞人脸情绪识别挑战赛赛题类型:cv 图像分类赛题报名链接:http://challenge.xfyun.cn/topic/info?type=facial-emotion-reco ...
爱可可推荐！关于竞赛思路，方法和代码实践，Datawhale数据竞赛Baseline开源分享！...
数据竞赛中baseline是最入门的分享, 它不仅有思路.方法还有内容: 或许你与Top选手的差距就是一个baseline! 01 项目介绍如果你是数据竞赛的初学者.爱好者,比赛的baseline不 ...
手把手教你如何做建模竞赛（baseline代码讲解）
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 1.大赛背景随着科技发展,银行陆续打造了线上线下.丰富多样的客户触 ...
多目标跟踪 | FairMOT：统一检测、重识别的多目标跟踪框架，全新Baseline
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自:AI算法与图像处理论文地址:https://arxiv ...
详解这场图片分类赛baseline，赢取官方人才认证+奖金
1 赛题背景为进一步加快"6+5+6+1"西安现代产业以及养老服务等行业领域急需紧缺高技能人才培养,动员广大职工在迎十四运创文明城.建设国家中心城市.助力西安新时代追赶超越高质量 ...
多项式回归、分位数回归（Quantile Regression）、保序回归（Isotonic Regression）、RANSAC回归、核岭回归、基准回归模型（baseline）
多项式回归.分位数回归(Quantile Regression).保序回归(Isotonic Regression).RANSAC回归.核岭回归.基准回归模型(baseline) 目录
车牌识别--Towards End-to-End License Plate Detection and Recognition: A Large Dataset and Baseline
Towards End-to-End License Plate Detection and Recognition: A Large Dataset and Baseline ECCV2018 ht ...

最新文章

热门文章