他的特别指出：目标是概率的建模：
概率分布完整表达
边缘概率和模型更有效率的计算
边缘效率和模型更有效率的学习
对概率模型的要求：
更有效率的推理
理解性更强
->现在他只能有一定条件的满足
概率模型的种类

bayessches Netz
一定的相关性
推导NP（非确定性算法，需要把问题分解成猜测和验证两部分，同时多项式时间可以解决所以加了一个C）
Markov Netz是相关性
Sum-Produkt Netz他是计算的图标，是靠推断P（判断是否有一种能够解决某一类问题的能行算法的研究课题）

Definition

SPN是有向图有
不相关的概率分布变量像叶子一样，
和和积作为内部的节点
还有比重图
例子：

他们共同的概率就是三个变量的布尔变量
但是在bayesschen Netzwerk里他是时告诉影响关系，但是在SPN里他还会可以被计算

Netzwerkpolynom

SPN一他以网络多项式为基础
已知布尔随机变量Xi，他有两种状态

指示功能
整个网格的计算公式

例子伯努利分布的NP计算

Baynesschen Netze的对比
他可以用这个多项式弄一个概率表
NP也是SPN构件的基础，为了构建一个计算的网络

这个地方跟上面的Bayessche Netze不同之处就是概率这一块了
还有更复杂的例子

SPN的特性和合理性

当+点sc的孩子有相同的广度也就是2个的时候SPN是完整的
当×点sc的孩子有不相交的广度的时候SPN是连续的
SPN合理当vollständig und konsisten
SPN被称为合理的时候，也是他可以被表达为一个概率分布（也就是他可以被完整的计算出来）

Semantik in SPNs

一个合理的SPN编码了一个复杂的分布
+节点：隐藏的变量，选择的可能（Mixtur）
×节点：因式分解在部分组成（不相关性）

Inferez in SPNs

可能的操作使SPN更有效的被计算
概率/似然
边缘概率/阀值分布
先验概率
最大概率解释
偏微分
采样
S可以通过前向传递计算

概率计算P(X1=1,X2=0)，S(Xind）/Z

以这个为前提计算
SXind结果为上图
Z的计算前提是

结果是这个
小提示：因为比重是被归一化了，所以Z一直都是1
当求P(X1=1)的时候，就是以这样为前提

解释：
他是全概率公式
Sxind通过两个前向传播叠加而成

MPE：
X1=1

向后传播：
她会选择最高数值的孩子会选择X2=0

根据概率判断，然后分别选择最对应的状态

这个就是un=0.81>0.7为前提距离
由于他是有效的SPN所以一定会选到明确的样本

Behandlung von diskreten und kontinuierlichen Variablen

变量的一般化时可能的
多值变量的离散
对于每一个可能只Vj一个指示器
扩展：吃寻变化的变量也是可能的
Suume-输入前加一个积分
最简单的方法：指示器加高斯
SPN定义一个深的高斯混合

Parameterlernen bei SPNs

已知：样本D，有效的SPN层
寻找：参数/比重
可能的学习共识：
迭代调整SPN的比重通过梯度下降法或者是EM
剪枝有小的比重的
进阶：
不同的公式（生成的，推理的）
计算梯度
更有效地执行梯度下降
梯度消失问题

Diskriminative SPNs(z.B. Klassifikation)

Backpropagation（BackpropSPN）

更新公式

上面是加法的更新公式，下面是乘法的
讨论：
理论上可行
乘法<1的话会使梯度很小，容易导致vanisching gradient

Vanisching gradient - Lösung für SPN

硬梯度下降

通过MAP近似选择最大的概率

ML_12 Sum-Produkt Networks 和积网络相关推荐

Paper：《Spatial Transformer Networks空间变换网络》的翻译与解读
Paper:<Spatial Transformer Networks空间变换网络>的翻译与解读导读:该论文提出了空间变换网络的概念.主要贡献是提出了空间变换单元(Spatial Tra ...
【笔记】基于轻量和积网络及无人机遥感图像的大豆田杂草识别
<基于轻量和积网络及无人机遥感图像的大豆田杂草识别> 单位:吉林大学计算机科学与技术学院作者:王生生数据获取设备:大疆 DJI 精灵3 相机:EXMOR 1/2.3 RGB 相机拍 ...
Review: Structure and function of complex brain networks——复杂大脑网络的结构和功能
Review: Structure and function of complex brain networks--复杂大脑网络的结构和功能复杂大脑网络的结构和功能摘要 1. 引言 2. 网络科学 ...
2022 Neural Networks期刊边缘检测网络FCL-Net论文精读
FCL-Net: Towards accurate edge detection via Fine-scale Corrective Learning 本次阅读分析的论文来自于期刊Neural Net ...
Generative Adversarial Networks 生成对抗网络的简单理解
1. 引言在对抗网络中,生成模型与判别相竞争,判别模型通过学习确定样本是来自生成模型分布还是原始数据分布.生成模型可以被认为是类似于一组伪造者,试图产生假币并在没有检测的情况下使用它,而判别模型类似 ...
Local Binary Convolutional Neural Networks ---卷积深度网络移植到嵌入式设备上？
前言:今天他给大家带来一篇发表在CVPR 2017上的文章. 原文:LBCNN 原文代码:https://github.com/juefeix/lbcnn.torch 本文主要内容:把局部二值与卷积神 ...
《Dynamic Filter Networks》动态过滤网络
Dynamic Filter Networks <Dynamic Filter Networks>NIPS 2016 论文链接:https://arxiv.org/abs/1605.096 ...
经典网络结构 (六)：DenseNet (Densely Connected Networks 稠密连接网络)
目录 Function Decomposition 稠密块(dense block) 过渡层(transition layer) DenseNet 模型 Why do we use average p ...
Adapting Grad-CAM for Embedding Networks - 度量学习网络可视化方法（reid、人脸识别）
Adapting Grad-CAM for Embedding Networks TL;DR 基于 grad-cam 修改得到一种适配embedding网络的可视化方法,可以用于人脸识别.reid等任 ...

ML_12 Sum-Produkt Networks 和积网络