为督促自己更好的理解论文，而不是仅看看不思考，今后【论文】系列将会至少每周总结一篇这周看过的论文，总结需分为两部分，一部分忠于原文详细总结原理方法，另一部分阐述自己的理解，以便达到整理研究思路，提高论文写作水平的目的
本周总结思考的论文为：Object-based analysis and interpretation of human motion in sports video sequences by dynamic Bayesian networks.¹

前言

虽然文献的研究对象为实例级别(object-based)，但由于文献发表时间早于Alexnet的出现，所以动作实例特征的提取不涉及高级语义，仅为纹理颜色形状等低级特征，故**视频物体(VOs,video objects)**的提取前置步骤不列为总结重点，重点放在如何使用数学方法建模时序上。
本文要解决的两个关键问题为：

1. what features we shall count on
2. what mapping we shall use

针对这两个关键问题，本文涉及的关键步骤有：

video objects segmentation
目的：根据镜头检测的结果分割VOs
算法：change detection or object tracking（两种都用了）
video objects abstraction
目的：鉴别关键帧以减少数据冗余，提取VOs特征
算法：cluster analysis or sequential selection
semantic feature modeling
目的：建模语义对象的时空特性
算法：动态贝叶斯网络(DBN, Dynamic Bayesian Network)

整体架构流程图如下：

VOs提取结果

Video modeing and inter pretation

为了获取视频片段的语义，需要用DBN将低级特征映射为高级语义。

贝叶斯公式

其中：

p(w)p(w)p(w)：为先验概率，表示每种类别分布的概率；
p(x∣w)p(x|w)p(x∣w)：类条件概率，表示在某种类别前提下，某事发生的概率；
p(w∣x)p(w|x)p(w∣x)为后验概率，表示某事发生了，并且它属于某一类别的概率，有了这个后验概率，我们就可以对样本进行分类。后验概率越大，说明某事物属于这个类别的可能性越大，我们越有理由把它归到这个类别下²。

我们来看一个直观的例子：已知：在夏季，某公园男性穿凉鞋的概率为1/2，女性穿凉鞋的概率为2/3，并且该公园中男女比例通常为2:1，问题：若你在公园中随机遇到一个穿凉鞋的人，请问他的性别为男性或女性的概率分别为多少？
从问题看，就是上面讲的，某事发生了，它属于某一类别的概率是多少？即后验概率。
设：w1=男性w_1 = 男性w1=男性，w2=女性w_2 = 女性w2=女性，x=穿凉鞋x = 穿凉鞋x=穿凉鞋
由已知可得：

男性和女性穿凉鞋相互独立，故

由贝叶斯公式可得：

贝叶斯网络

概率论中有一个基本概念：一个物理域可由其中所有随机变量的联合概率密度函数(PDF)来完全表示。由于贝叶斯网络(BN, Bayesian Network)中的随机变量为因果关系，因此可将PDF简化为条件概率分布(CPD, conditional probability distribution for continuous variable)或条件概率表(CPT, conditional probablity table for discrete variable)。
一个简单的BN网络公式化例子如下：

BN的特点：

BN为有向无环图，节点表示i.i.d.的随机变量，边表示两个节点之间相关；
CPD/CPT定义了节点随其父节点的状态更新；
BN的推理：利用部分已知状态节点来推理出其余部分节点的状态；
BN的学习：已知部分或全部观察节点的状态可学习节点的CPD或CPT。
常用算法有：连接树(junction tree)³、置信传播(belief propagation)⁴和优化算法（如，variational and Monte Carlo sampling methods）⁵。

动态贝叶斯网络

DBN由具有相同结构的BN沿时间轴展开而得到，可通过隐藏节点(hidden nodes)来建模系统状态变化来表示时序关系。

隐马尔可夫模型(HMM, Hidden Markov Model)为离散状态节点的DBN；
卡尔曼滤波(Kalman filter)为连续状态节点的DBN；

本文建模动作状态变化的DBN为离散状态节点。

DBN的计算

Problem：likelihood computation ⇒\Rightarrow⇒solution：inference algorithms(junction trees and variational methods)
Problem：decoding or Most Probable Explanation(MPE) ⇒\Rightarrow⇒solution：inference algorithms(junction trees and variational methods) which calculate marginal distributions for the nodes
Problem：parameter learning ⇒\Rightarrow⇒solution：已知隐藏节点值——Maximum Likelihood(ML) or 隐藏节点值未知或存在高斯混合PDF——Expectation-maximization algorithm(EM)

本文的DBN方法

用来进行动作分类，数据集总共包含5中动作：downhill sking, golf swing, baseball pitching, bowling, and ski jump，且每种动作分开训练了5个DBN。

VO提取

2. 低层特征提取——提取二值化后物体的形状及骨骼

3. 定义物体重心为原点，水平方向为x轴，垂直方向为y轴，并确定其end points以将VO划分为Ⅰ·Ⅱ·Ⅲ·Ⅳ四个象限。

4. 针对人体5个部位，头，左手，右手，左脚，右脚运动建立DBN。

训练

输入：

隐藏节点的值，即头和四肢位于哪一象限，人工标注；
观察节点的值，即每一象限的VO的feature vector。

输出：

最大似然函数的估计量θ\thetaθ；
CPT

推理

输入：

feature vector

输出：

log likelihood →\rightarrow→classification
MPE

总结

本文最大的优点是利用数学的方法（DBN）建模了动作随时间的状态变化，并巧妙的将不同象限分类与数据集中的不同动作相结合完成了动作分类任务。但仍有以下缺点：

本文由于在神经网络出现之前，故没有现如今精确的目标检测方法；
若DBN网络中每个隐藏节点之间存在关系，即隐藏节点之间有关联的话，怎样建模（怎样将概率图模型与DBN相结合）；
文献中每一个动作需单独训练一个DBN，若针对现有动作种类很多的数据集如UCF101来说所耗计算资源太大，如何解决模型的泛化能力；
不同domain的时序建模，DBN的架构可能会不同，如何实现DBN的自动架构学习；
本文数据集中的视频较短，如何利用DBN在不大量增加计算量的同时建模长视频。

参考文献

[1] Luo Y, Wu T D, Hwang J N. Object-based analysis and interpretation of human motion in sports video sequences by dynamic Bayesian networks[J]. Computer Vision and Image Understanding, 2003, 92(2-3): 196-216.
[2] 极大似然估计详解.https://blog.csdn.net/zengxiantao1994/article/details/72787849.
[3] Junction tree algorithm.https://ermongroup.github.io/cs228-notes/inference/jt/.
[4] Belief propagation.https://ermongroup.github.io/cs228-notes/inference/jt/.
[5] Toulouse J, Assaraf R, Umrigar C J. Introduction to the variational and diffusion Monte Carlo methods[M]//Advances in Quantum Chemistry. Academic Press, 2016, 73: 285-314.

1 ↩︎
2 ↩︎
3 ↩︎
3 ↩︎
↩︎

【论文】动态贝叶斯网络用于时序建模及动作分类相关推荐

动态贝叶斯网络中TBN与DBN的区别
Temporal Bayesian Network (TBN): the model structure does not change over time slices, i.e., the m ...
贝叶斯网络计算机系统性能建模,基于贝叶斯网络的AIBNS系统建模研究及其应用-计算机应用技术专业论文.docx...
摘要智能授导系统ITS研究的重点在于增加远程网络教学系统的适摘要智能授导系统ITS研究的重点在于增加远程网络教学系统的适应性和智能性.学生模型是ITS的基础和核心,是其他模块进行工作的前提.论 ...
基于在软件工程中对贝叶斯网络的循证决策
基于在软件工程中对贝叶斯网络的循证决策摘要:在软件工程中的推荐系统应该设计成集成依据并成为从业人员的经验.贝叶斯网络为以证据为基础的决策提供了自然统计框架,通过结合现有证据的综合概要与相关的不确定性 ...
数学推导+纯Python实现机器学习算法12：贝叶斯网络
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达在上一讲中,我们讲到了经典的朴素贝叶斯算法.朴素贝叶斯的一大特点就 ...
【机器学习基础】数学推导+纯Python实现机器学习算法12：贝叶斯网络
Python机器学习算法实现 Author:louwill 在上一讲中,我们讲到了经典的朴素贝叶斯算法.朴素贝叶斯的一大特点就是特征的条件独立假设,但在现实情况下,条件独立这个假设通常过于严格,在实际 ...
贝叶斯分类器与贝叶斯网络
原文地址:贝叶斯分类器与贝叶斯网络作者:yfx416 贝叶斯分类器是一种基于贝叶斯公式的分类器,是一种基于统计的分类器,它计算在某一特征向量的前提下,各种分类可能出现的概率.把概率最大的那个类当作最终 ...
机器学习数据挖掘笔记_18（PGM练习二：贝叶斯网络在遗传图谱在的应用）
前言: 这是coursera课程:Probabilistic Graphical Models 上的第二个实验,主要是用贝叶斯网络对基因遗传问题进行一些计算.具体实验内容可参考实验指导教材:bayes ...
图网络算法——概率图介绍与贝叶斯网络
图网络算法--概率图综述 1 概率论回顾在介绍概率图之前,我们先来回顾一下概率论中的相关的知识. 样本空间(Ω): 样本空间描述的是一个随机试验中所有可能输出的集合.比如我们随机抛了一千次硬币,那么 ...
西瓜书+实战+吴恩达机器学习（二一）概率图模型之贝叶斯网络
文章目录 0. 前言 1. 贝叶斯网络结构 2. 近似推断 2.1. 吉布斯采样 3. 隐马尔可夫模型HMM 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言概率 ...
贝叶斯网络(Bayesian Network)
贝叶斯网络贝叶斯网络(Bayesian Networks)也被称为信念网络(Belif Networks)或者因果网络(Causal Networks),是描述数据变量之间依赖关系的一种图形模式,是 ...

【论文】动态贝叶斯网络用于时序建模及动作分类

前言