Abstracta

因式分解机(Factorization Machines)是一种结合了支持向量机（Support Vector Machines， SVM）的模型。与SVM不同的是，FM 使用对变量之间的所有交互进行建模。所以在数据特别稀疏的情况下，FM也能准确度较高地预测。
此外，FM的计算时间复杂度是线性的。以及通过对输入数据输入数据格式的调整，FM可以模仿其它的算法，比如SVD++, PITF等。

支持向量机（Support Vector Machines， SVM）

可以理解为是一种二类分类器。
可以参考https://zhuanlan.zhihu.com/p/49331510

I. INTRODUCTION

在类似协同过滤的模型中，标准SVM预测器在这些任务中不成功的唯一原因是它们无法在非常稀疏的数据下在复杂（非线性）内核空间中学习可靠的参数。

它们不适用于标准预测数据（例如 Rn 中的实值特征向量。）
很多相关模型都是根据特定的数据集而专门构造的。

而，FM是一种通用的预测器，可以处理任何实值特征向量。与此相反，其他最先进的分解模型仅适用于非常有限的输入数据。通过调整输入数据的特征向量，FM就可以模仿其它的推荐系统。

II. Factorization Machine

假设特征向量为x=(x1,x2,...,xn)x = (x_1,x_2, ...,x_n)x=(x1,x2,...,xn)
传统的预测方式是
y^=w0+∑i=1nwixi\qquad \hat{y}=w_0+\sum_{i=1}^{n} w_ix_iy^=w0+i=1∑nwixi

即初值加上每个特征带来的权值和。
但是这样会错过一些有重要意义的特征组合

比如：抽烟，酗酒都会对身体造成危害，可以按照权重来分别累加。但是同时抽烟酗酒带来的危害肯定比单独抽烟，酗酒加起来要多。

所以应该再加上同时抽烟酗酒带了的危害

那么加上组合的式子为
y^=w0+∑i=1nwixi+∑i=1n∑j=1nwijxixj\qquad \hat{y}=w_0+\sum_{i=1}^{n} w_ix_i + \sum_{i=1}^{n}\sum_{j=1}^{n}w_{ij}x_ix_jy^=w0+i=1∑nwixi+i=1∑nj=1∑nwijxixj

那么就可以解决之前的那个问题，甚至可以加更高阶的组合。

但是这样又带了了一个新的问题，这样一来，训练的参数就更多了，达到了O(n2)O(n^2)O(n2)级别。且在数据比较稀疏的情况下(wiwjw_iw_jwiwj同时不为000的数量较小)，就会导致参数训练不充分，严重影响预测精度。

Wn×nW_{n\times n}Wn×n是一个对称矩阵，可以将其分解为两个较小矩阵的乘积Vn×k∗VTV_{n\times k} * V^TVn×k∗VT，即W=V∗VTW = V*V^TW=V∗VT
通过调整kkk的大小，可以调整训练参数数量，在数据比较稀疏的情况下，应该设置k<<nk << nk<<n

那么wij=∑k=1nVik∗VkjTw_{ij} = \sum_{k=1}^{n}V_{ik}*V_{kj}^Twij=∑k=1nVik∗VkjT
此时
y^=w0+∑i=1nwixi+∑i=1n∑j=1n∑k=1nVik∗VkjTxixj\qquad \hat{y}=w_0+\sum_{i=1}^{n} w_ix_i + \sum_{i=1}^{n}\sum_{j=1}^{n}\sum_{k=1}^{n}V_{ik}*V_{kj}^T x_ix_jy^=w0+i=1∑nwixi+i=1∑nj=1∑nk=1∑nVik∗VkjTxixj

Factorization Machines 因式分解机论文学习笔记相关推荐

推荐系统学习笔记之四 Factorization Machines 因子分解机 + Field-aware Factorization Machine(FFM) 场感知分解机
前言 Factorization Machines(FM) 因子分解机是Steffen Rendle于2010年提出,而Field-aware Factorization Machine (FFM) ...
动态环境下的SLAM：DynaSLAM 论文学习笔记
动态环境下的SLAM:DynaSLAM 论文学习笔记这篇文章论文摘要系统流程相关环节的实现方法神经网络检测图中动态物体(Mask R-CNN) Low-Cost Tracking 使用多视图 ...
《Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network》论文学习笔记
<Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network>–<基于 ...
识别和追踪主题层次的影响力者(来自2018 Machine Learning 论文学习笔记)
本文作者:合肥工业大学管理学院钱洋 email:1563178220@qq.com . 以下内容是个人的论文阅读笔记,内容可能有不到之处,欢迎交流. 未经本人允许禁止转载. 文章目录论文来源论 ...
论文学习笔记 POSEIDON: Privacy-Preserving Federated Neural Network Learning
论文学习笔记 POSEIDON: Privacy-Preserving Federated Neural Network Learning NDSS 2021录用文章目录论文学习笔记 POSEID ...
【论文学习笔记-2】高分辨率3D深度重建
[论文学习笔记-2] 高分辨率3D深度重建背景介绍模型目标 Related Works 背景介绍应用场景广泛:桥,电缆etc 高分辨率图像的特点:像素多,potential disparity ...
Dual Graph Attention Networks for Deep Latent Representation of Multifaceted Social...》论文学习笔记
Dual Graph Attention Networks for Deep Latent Representation of Multifaceted Social Effects in Recom ...
论文学习笔记: Learning Multi-Scale Photo Exposure Correction(含pytorch代码复现)
论文学习笔记: Learning Multi-Scale Photo Exposure Correction--含pytorch代码复现本章工作: 论文摘要训练数据集网络设计原理补充知识:拉普 ...
网规第二版：第8章网络规划与设计论文学习笔记(含历年真题)（完结）
第8章网络规划与设计论文学习笔记 8.1写作范围要求 1.网络技术应用与对比分析 2.网络技术对应用系统建设的影响 3.专用网络需求分析.设计.实施和项目管理 4.下一代网络技术分析 8.2论文考试 ...

Factorization Machines 因式分解机论文学习笔记

Abstracta

支持向量机（Support Vector Machines， SVM）

I. INTRODUCTION

II. Factorization Machine

Factorization Machines 因式分解机论文学习笔记相关推荐

最新文章

热门文章

Factorization Machines 因式分解机 论文学习笔记

Abstracta

支持向量机（Support Vector Machines， SVM）

I. INTRODUCTION

II. Factorization Machine

Factorization Machines 因式分解机 论文学习笔记相关推荐

最新文章

热门文章

Factorization Machines 因式分解机论文学习笔记

Factorization Machines 因式分解机论文学习笔记相关推荐