一次具体的应用

在之前提到的一个项目里，有一个重要的细节被一带而过了。

原文链接：凸约束机器学习模型的探索及其可解释性思考 https://blog.csdn.net/qq_36870202/article/details/116889535

我们搭建一个凸(至少拟凸)的机器学习模型，主要有三点考虑：

让输入-输出的变化关系更合理，进而保证模型可解释；
训练模型参数(或优化求解)过程中，尽量稳定和鲁棒，更容易收敛到全局最优解；
问题可以这样简化：输入小幅度变化时，输出关于输入的泰勒展开高阶项（ ≥ 2 \ge 2 ≥2）趋向于0。即当输入满足小扰动条件时，小容量的线性模型也基本足以拟合真实问题。

其中，前两点在原文中已经有涉及，这里重点看第3点。

对于问题的落地场景来说（可参考原文#2例举的出租车调度问题），输入的确会是试探性地、小规模地增减调节的，因此符合小扰动条件。所以按照这个思路来简化问题、简化模型，应该是不违和的，也满足实际需求。

相反的，如果一定要对任意范围内的输入建立全面的、完善的、至少可用的模型，一方面需要数据丰富且均衡、至少不单一，另一方面模型复杂度上升、训练难度加大、稳定性降低、正向推理耗时增加，等等各种大容量模型对应的问题随之发生。

小扰动思想

建立小扰动模型的灵感，或者说思路，除了流形思想、LLE等无监督学习算法等，可能更多的来源于本科时候的课程，《自动控制原理》《飞行器动力学》之类的，类似机械和自动化相关领域。

乍一看，似乎和机器学习没什么关系，各种公式推导也忘得一干二净，不过这种解决问题的思路和方法论，着实还是挺有帮助的。在其他领域也是一样，似乎很多地方都是相通的，也算是一种普遍联系吧。

附上一些小扰动、线性化的理论介绍：

【百度百科】小扰动理论：https://baike.baidu.com/item/小扰动理论/19136784?fr=aladdin

【知乎】如何获得飞机的小扰动模型：https://zhuanlan.zhihu.com/p/71717022

和算法的联系

考虑机器学习或其他算法，感觉下面三个说法或者思想是很相似的；

小扰动线性化，也就是上面提到的思想；
分段函数拟合，如计算方法中的B样条；
分而治之思想，如模式识别中的决策树、算法里的二分法等；

概括来说，都是算法里面分而治之的思想。只不过上面三种说法，只有第一个里面的“线性化”体现了模型容量的降低，所以这篇博客的题目里用了这个说法。

事实上，还有一个类似的例子，比方说LS-PLM(Large Scale Piece-wise Linear Models)，大规模分片线性模型。

LS-PLM简介如下：

是阿里巴巴曾经的主流推荐模型，用来预估CTR；
- CTR, Click-Through-Rate，即点击通过率。
论文：
- Learning Piece-wise Linear Models from Large Scale Data for Ad Click Prediction
- https://arxiv.org/abs/1704.05194
别人的博客：
- https://blog.csdn.net/weixin_38753213/article/details/109064156
大概算法：
1. 对样本聚类，比方说N类，等同于在样本空间划分N个片区，每个类别一个片区；
2. 为每个类（即每个片区）别建立一个LR模型；
3. 分别计算样本在每个片区的概率，即属于每个类的概率；
4. 分别计算样本在每个片区的CTR；
5. 按照softmax的类别概率，对所有片区的CTR加权平均；

不同的是模型的更新过程：

对于LS-PLM，需要维护多个模型，包括计算类别概率和CTR。
对于上面提到的项目场景和算法，使用K临近作为划分的片区，同时模型又非常简单，所以只维护一个模型，旧参数覆盖新参数，也没什么问题。即模型更新更简单，这也是得益于更简单的使用场景。

补充：和流形学习的联系

后来感觉，文中提到的思路好像很像流形学习，尤其是LLE算法，在思路上有很多相似的地方。不过做的时候，确实并没有想到这么多，但也补充提一下。

可能的一点区别是，流形学习，好像主要是针对无监督任务，LLE算法也是用来降维的。文中提到的，是用所谓小扰动线性化思想，解决监督学习任务、回归问题。

小扰动线性化思想在机器学习中的跨界应用相关推荐

v4跨界战显示服务器维护中,V4跨界战手游预约-V4跨界战游戏首发预约_第一手游网...
V4跨界战是一款非常震撼的动作射击冒险游戏,超级华丽的视觉冲击将在这里向您展示这个世界的战斗方式,各种超酷装备和武器的效果会让你享受一场非常精彩的战斗,一个充满魔力的世界吸引着你,每一次冒险都是难忘的 ...
机器学习 + NFT，跨界联合可以擦出什么火花？
前几天在Github上看到一个用SN-GAN技术生成punk的项目,项目地址:https://github.com/teddykoker/cryptopunks-gan,跑了一遍感觉很有趣,所以就研究 ...
深入剖析机器学习中的统计思想
https://www.toutiao.com/a6649503554182578696/ 2019-01-23 09:58:23 现在机器学习中大家达成了一个共识: 如果你在用一个机器学习方法,而不 ...
机器学习中的数学基础怎么学？
又到了周末了,但小编的周六并不算周末.回到本次的话题上,这次小编给大家分享机器学习中的数学基础该怎么学. 首先给出小编的态度:机器学习中涉及的数学课程比较多,要想一下子去穷尽所有课程显然也不现实,大可 ...
跨界智能手表：比亚迪向左，小鹏向右
如今,电动化.智能化是汽车行业转型的大方向,而由于目前国内汽车产业在电动化方面已经算是"小有成效",因此,抢占智能化高地,打造一个多设备互融的生态系统,就成为了车企的共同愿景.在此 ...
机器学习中的小数学知识
1.如何通俗易懂地解释「协方差」与「相关系数」的概念:协方差能够表示变量相关性的原因,相关系数可以看成一种剔除了两个变量量纲影响.标准化后的特殊协方差. 2.置信区间理解:当计算出样本均值时如何基于样 ...
机器学习中的数据不平衡问题----通过随机采样比例大的类别使得训练集中大类的个数与小类相当，或者模型中加入惩罚项...
机器学习中的数据不平衡问题摘自:http://wap.sciencenet.cn/blogview.aspx?id=377102 最近碰到一个问题,其中的阳性数据比阴性数据少很多,这样的数据集在进行 ...
小波滤波器与其他滤波器的区别_小波变换（六）：小波变换在机器学习中的应用（上）...
本文讲解一篇关于小波变换在机器学习中的应用的博客:<A guide for using the Wavelet Transform in Machine Learning>,极力推荐!!目 ...
变身抓重点小能手：机器学习中的文本摘要入门指南 | 资源
鱼羊编译整理量子位出品 | 公众号 QbitAI 如果你是科研狗,一定有过被摘要支配的恐惧. 如果你想在浩如烟海的互联网信息里寻找重点,一定想要快速排除多余的内容. 基于机器学习的自动文本摘要工 ...

小扰动线性化思想在机器学习中的跨界应用

文章目录

一次具体的应用

小扰动思想

和算法的联系

补充：和流形学习的联系

小扰动线性化思想在机器学习中的跨界应用相关推荐

最新文章

热门文章