该部分是辅助论文笔记 Bayesian Probabilistic Matrix Factorizationusing Markov Chain Monte Carlo （ICML 2008）_UQI-LIUWJ的博客-CSDN博客的3.3.1小节

1 多元高斯分布&威沙特分布

复习一下多元高斯分布的概率密度函数：

复习一下威沙特分布的概率密度函数

概率统计笔记：威沙特分布（Wishart Distribution）_UQI-LIUWJ的博客-CSDN博客

2 推导

固定U，采样 $\Theta_U$ ，按照概率 $p(\Theta_U|U)$ 进行采样

利用条件概率性质，我们可以用已知的条件概率来计算 $p(\Theta_U|U)$ :

由于此时U已知，故p(U)为常量

右侧第一项是一个高斯分布，第二项是高斯分布和威沙特分布的乘积。

2.1 第一项的展开

先看第一项：

所以 $P(U|\theta_U)$ 可以看成是N个高斯分布的乘积

$p(U|\theta_U)=\prod _i (\frac{1}{(2\pi)^{\frac{D}{2}}(\Lambda_U^{-1})^{\frac{1}{2}}}e^{-\frac{1}{2}(U_i-\mu_U)^T(\Lambda_U)(U_i-\mu_U)})$

$=(2\pi)^{-\frac{DN}{2}}(\Lambda_U)^{\frac{N}{2}}e^{(-\frac{1}{2}\sum_{i=1}^N(U_i-\mu_U)^T(\Lambda_U)(U_i-\mu_U))}$

2.2 第二项的展开

再看第二项

我们拆成高斯分布的概率密度和威沙特分布的概率密度：

2.2.1 高斯分布

高斯分布的概率密度：

$N(\mu_U|\mu_o,(\beta_0 \Lambda_U)^{-1})=\frac{1}{(2\pi)^{\frac{D}{2}}((\beta_0 \Lambda_U)^{-1})^{\frac{1}{2}}} exp(-\frac{1}{2}(\mu_U-\mu_0)^T((\beta_0 \Lambda_U)^{-1})^{-1}(\mu_U-\mu_0))$

$=(2\pi)^{-\frac{D}{2}}(\beta_0 \Lambda_U)^{\frac{1}{2}}exp[-\frac{1}{2}(\mu_U-\mu_0)^T(\beta_0 \Lambda_U)(\mu_U-\mu_0)]$

2.2.2 威沙特分布

威沙特分布的概率密度：

$W(\Lambda_U|W_0,v0)=\frac{1}{2^{\frac{v0D}{2}}\Gamma_D(\frac{v0}{2})(W_0)^{\frac{v0}{2}}}|\Lambda_U|^{\frac{v0-D-1}{2}} exp(-\frac{1}{2}Tr(W_0^{-1})\Lambda_U)$

2.3 合并

去掉不需要的系数项，我们有：

我们希望通过采样得到的 $\theta_U|U$ （）也满足高斯威沙特分布：

也就是我们也就是我们希望找到一组B1，B2

使得

2.4 求值

2.4.1 v0*

我们考虑等号两边 $\Lambda_U$ 的指数：

2.4.2 β0*

我们考虑指数中的项的系数：

2.4.3 μ0*

我们考虑指数中的 $\mu_U^T \Lambda_U$ 项的系数

2.4.4 W*

至于W*，就比较繁琐

至于W*，就比较繁琐

我们先回顾两个求导的知识

线性代数笔记：标量、向量、矩阵求导_UQI-LIUWJ的博客-CSDN博客

于是我们对(A1+A2+A3)和(B1+B2)的指数项关于 $\Lambda_U$ 求导

先看A这边的

A1指数项求完导是（由于都有-1/2，所以我都约去）： $\sum_{i=1}^{N}(U_i-\mu_U)(U_i-\mu_U)^T$

A2指数项求完导是 $(\mu_U-\mu_0)(\mu_U-\mu_0)^T \beta_0$

A2指数项求完导是 $W_0^{-1}$

再看B这边的：

B1指数项求完导是： $(\mu_U-\mu_0^*)(\mu_U-\mu_0^*)^T\beta_0^*$

B2指数项求完导是 $W_0^{*-1}$

于是我们有：

$W_0^{*-1}$ + $(\mu_U-\mu_0^*)(\mu_U-\mu_0^*)^T\beta_0^*$

= $W_0^{-1}$ + $(\mu_U-\mu_0)(\mu_U-\mu_0)^T \beta_0$ + $\sum_{i=1}^{N}(U_i-\mu_U)(U_i-\mu_U)^T$ (1)

而在前面我们已经得到：

代入进去，有：

$(\mu_U-\mu_0^*)(\mu_U-\mu_0^*)^T\beta_0^*$

$=(\mu_U-\frac{\sum_{i=1}^NU_i+\beta_0\mu_0}{\beta_0+N})(\mu_U-\frac{\sum_{i=1}^NU_i+\beta_0\mu_0}{\beta_0+N})^T(N+\beta_0)$

$=(\mu_U-\frac{\sum_{i=1}^NU_i+\beta_0\mu_0}{\beta_0+N}) [(N+\beta_0)\mu_U-(\sum_{i=1}^NU_i+\beta_0\mu_0)]^T$

$=\mu_U \times (N+\beta_0)\mu_U^T -\frac{\sum_{i=1}^NU_i+\beta_0\mu_0}{\beta_0+N} \times (N+\beta_0)\mu_U^T$

$-\mu_U \times(\sum_{i=1}^NU_i+\beta_0\mu_0)^T +\frac{\sum_{i=1}^NU_i+\beta_0\mu_0}{\beta_0+N} \times(\sum_{i=1}^NU_i+\beta_0\mu_0)^T$ (2)

现在就是剩下的部分怎么算了：

$(\mu_U-\mu_0)(\mu_U-\mu_0)^T \beta_0$ $=\beta_0 \mu_u\mu_u^T -\beta_0\mu_0\mu_U^T -\beta_0\mu_U\mu_0^T +\beta_0\mu_0\mu_0^T$

$\mu_U \times (N+\beta_0)\mu_U^T -\frac{\sum_{i=1}^NU_i+\beta_0\mu_0}{\beta_0+N} \times (N+\beta_0)\mu_U^T =(N+\beta_0)\mu_u\mu_u^T -(N\hat{U}+\beta_0\mu_0)\mu_u^T$

展开消元即可

3 用共轭分布考虑

在这里，我们有p(U)【多元正态分布】和p(U|θ）【高斯威沙特分布】，而高斯威沙特分布是多元高斯分布在μ和精度矩阵都不知道的情况下的共轭先验

所以p(θ|U）也是高斯威沙特分布，有：

BPMF论文辅助笔记：固定U，更新θU 部分推导相关推荐

BPMF论文辅助笔记：采样Ui 部分推导
该部分是论文笔记 Bayesian Probabilistic Matrix Factorizationusing Markov Chain Monte Carlo (ICML 2008)_UQI-L ...
论文辅助笔记（代码实现）：Bayesian Probabilistic Matrix Factorizationusing Markov Chain Monte Carlo
1 主要思路回顾具体可见:论文笔记 Bayesian Probabilistic Matrix Factorizationusing Markov Chain Monte Carlo (ICML 2 ...
TAS-LR 论文辅助笔记图拉普拉斯正则项推导
1 图拉普拉斯正则项的直观目标函数我们已知一张图G的邻接矩阵A,和度矩阵D,那么我们就知道他的拉普拉斯矩阵L=D-A 在使用矩阵分解的时空数据补全问题中,有一些文献使用图拉普拉斯正则化项来对空间特征 ...
论文笔记|固定效应的解释和使用
DeHaan E. Using and interpreting fixed effects models[J]. Available at SSRN 3699777, 2021. 虽然固定效应在金融 ...
论文阅读笔记——VulDeePecker: A Deep Learning-Based System for Vulnerability Detection
本论文相关内容论文下载地址--Engineering Village 论文中文翻译--VulDeePecker: A Deep Learning-Based System for Vulnerabi ...
论文阅读笔记：Improving Attacks on Speck32 / 64 using Deep Learning
论文阅读笔记:Improving Attacks on Speck32 / 64 using Deep Learning 本文通过神经网络利用了减少轮数的 Speck 的差分性质.为此,作者对神经网络 ...
《使用图LSTM进行语义对象解析》--论文阅读笔记
Semantic Object Parsing with Graph LSTM原文 GraphSage代码阅读笔记(TensorFlow版)目录摘要 1.介绍 2 Related Work 3 Th ...
《Semantic Object Parsing with Graph LSTM》--论文阅读笔记
Semantic Object Parsing with Graph LSTM原文 GraphSage代码阅读笔记(TensorFlow版)目录摘要 1.介绍 2 Related Work 3 Th ...
Learning Multiview 3D point Cloud Registration论文阅读笔记
Learning multiview 3D point cloud registration Abstract 提出了一种全新的,端到端的,可学习的多视角三维点云配准算法. 多视角配准往往需要两个阶段 ...

BPMF论文辅助笔记：固定U，更新θU 部分推导

1 多元高斯分布&威沙特分布

2 推导

2.1 第一项的展开