Classifying dynamic textures via spatiotemporal fractal analysis（许教授）

提出了：dynamic fractal spectrum (动态分形谱) 来处理动态纹理序列

预备知识：

分形（fractal analysis）：局部形态和整体态的相似。分形理论所揭示的“看似杂乱无章实质结构相似且迭代有序，缺一不可，每个结构缺一不可，每个结构都带有对过去，当下，未来的功能作用信息！”提示我们，过去、当下（当下是过去的累积）、未来，其实没有什么牢不可破的阻隔。甚至于，时间都是幻象。

“一日看人生，如何过好一天就是如何过好一生”，里面就蕴含着“分形”思想

多重分形（multi-fractal）：当我们所研究的度量（measure）在不同的尺度(different scale)上均相同，或者至少在统计意义上是一样的，就可以说我们所研究的度量是自相似的，这一度量就是多重分形

https://wenku.baidu.com/view/ca97e45e64ce0508763231126edb6f1afe007186.html

分维：http://www.kepuchina.cn/wiki/ct/201803/t20180318_558672.shtml、https://wiki.swarma.org/index.php/%E5%A4%9A%E9%87%8D%E5%88%86%E5%BD%A2

分维用于衡量自相似图形的复杂度，它的定义为：

假设我们要测量一个正方形的大小，我们不用常规的方法来衡量这个正方形的大小，而是把这个正方形缩小原来的2倍，变成一个mini正方形，然后我们用这个mini正方形去测量原来正方形的大小，发现原来正方形的大小就是4个mini正方形。这样，我们就可以得出了这个图形（正方形）的维度，设需要mini正方形的数量为N，mini正方形是由原来正方形缩小 $\varepsilon$ 倍得到的，求D，使得 $N =( \frac{1}{\varepsilon }) ^D$ ,那么这个D，就是这个图形的维度。

例如，一条直线的维度为1，一个平面的维度为2，而一条曲线的维度可能介于1～2之间，因为曲线比直线复杂，但又比平面简单。

了解分维后，就能明白论文的公式

模型由两个部分组成：volumetric dynamic fractal spectrum component (V-DFS 三维动态分形谱)、multi-slice dynamic fractal spectrum(S-DFS 多层动态分形谱)

V-DFS：把DT序列堆叠起来，成为立体数据，然后捕获其随机自相似性

S-DFS：对沿三维体的不同视觉方向的二维切片上重复DT图案的分形结构进行编码

与静态纹理相比，动态纹理不仅在纹理元素的空间分布上存在差异，而且在组织和动态上也会随时间而变化。

现有方法的缺点：

已有的许多方法将视频作为随机动态系统的样本或直接测量视频的运动场来建模，但对于由具有一定混沌的非线性随机动态系统驱动的具有复杂运动的动态纹理，现有方法的有效性并不令人满意，

现有方法的类型：

现有的DT分类方法主要有两类：生成方法、判别方法

生成方法试图对生成DT序列的物理动力系统进行定量建模，并根据相应物理模型的系统参数对DT序列进行分类。生成方法的主要缺点是对具有复杂运动不规则的非线性物理系统生成的DT序列的描述不够灵活。

判别方法的主要思想是：描述局部DT pattern的分布。判别方法能够在不显式地对底层动态系统建模的情况下有效地描述DT。

虽然判别方法比生成方法好，但是现有的判别方法在具有复杂运动的DTs中，其性能是非常有限的，因为它们不能可靠地捕捉这种视频序列固有的随机平稳特性。

我们注意到，尽管许多DT序列的运动模式可能是高度不规则的，但从不同的时空尺度(多尺度)来看，它们是相当一致的。

这种多尺度自相似性被称为能量法则或分形结构[21]。

许多视频序列的时间频谱振幅，包括一个或多个人类的相机运动、天气和生物运动，确实符合能量法则模型[22,23,21,24,25]。

论文作者假设：DT序列是由具有自相似性的动态系统生成的

DFS描述子具有两类方法的优点：生成方法对DT随机行为建模的识别能力和识别方法对环境变化的鲁棒性。

传统分形分析的缺点：这些方法主要集中在静态纹理分类上，通过简单地平均每个DT帧上的原始特征（如[15]），或直接将描述符扩展到3D情况（如[14]），将其应用于DT分类。

论文创新点：

1、捕获了整个DT序列上的全局自相似行为

2、捕抓每个DT切片上重复模式的统计自相似性

计算V-DFS

1、基于“局部密度指”数把点划分到不同的集合
2、在log坐标系中，使用最小二乘法去拟合每个集合的分维
3、最后得到每个集合的分维值，然后用一个向量存储起来，最后得到向量 g

计算S-DFS

1、在三个方向切分2D切片，然后根据“局部密度指数”把点划分到不同的集合，再计算这些集合的分维，最后得到每个切分方向的“分维向量”，最后得到向量 l
2、计算这三个向量的平均值，之所以取平均，是因为平均能更稳定

计算DFS：

串联V-DFS向量g和S-DFS向量l以形成最终的DFS向量d，最后可以用向量d来进行分类

计算局部密度指数的方法：

，其中 $\mu$ 函数有5种：

1、像素强度（pixel intensity）:

2、时间亮度梯度（temporal brightness gradient）：

3、正则流（normal flow）：

4、拉普拉斯：

5、主曲率（principal curvature）：

Classifying dynamic textures via spatiotemporal fractal analysis（许教授）相关推荐

计算机视觉-混合动态纹理模型(Mixtures of Dynamic Textures)
实话实说,对MDT和HMM的区别仍旧不是很确定.以下仅仅记录分析的过程. 动态纹理的表达式: HMM的表达式:(系统介绍可见HMM隐马尔可夫模型的例子.原理.计算和应用 - 知乎,HMM隐马尔可夫模型 ...
波许教授的《最后一课》有感
波许教授,美国卡内基梅隆大学计算机系教授兰迪·波许.2008年7月25日因癌症晚期去世,享年47岁. 在他生命的最后的前十个月,他做过一个著名的演说<最后一课>(The Last Lect ...
讲授“最后一课”的兰迪·波许教授去世
来源: 驱动之家不知道是否有朋友观看过卡耐基梅隆大学的计算机科学.人机交互及设计教授兰迪·弗雷德里克·波许(Randy Frederick Pausch)著名的"最后一课"演讲并 ...
兰迪·波许教授的最后一课
周末,自己一个人在家,看了一遍兰迪·波许教授的最后一课的演讲,很感人. 如果你的生命只剩下3到6个月的时候,你会是什么样子,兰迪·波许给我们做了一个非常好的榜样,很难想象一个人得了绝症之后还能这么开朗 ...
[分享] 兰迪·波许教授的最后一课[PDF/PPT/AVI]
兰迪幽默的最后一课 2006年9月,兰迪·波许被诊断患有胰腺癌,尽管进行了手术和化疗,他还是在2007年8月被告知癌细胞已经转移至肝脏及脾脏,只能再活3至6个月.时隔一个多月,他作出了一个影响全世界读 ...
每月分享之兰迪·波许教授的最后一课
每月分享兰迪·波许是美国著名的虚拟现实先驱,当他要患有癌症要离开世界时,做了最后一次的演讲,无关于家庭,无关于癌症,只有关于儿时梦想的实现. 观看地址:https://www.bilibili.co ...
教授专栏17 | 许佳龙:银行查找网安漏洞提高公众风险意识
文 / 许佳龙教授香港金融管理局近日推出的「网络安全防卫计划」(Cybersecurity Fortification Initiative,CFI),其中「网络防卫评估架构」(Cyber Resi ...
丁卓雅计算机学院,幼儿园音乐教育教学研讨会暨许卓雅教授音乐专题讲座
原标题:幼儿园音乐教育教学研讨会暨许卓雅教授音乐专题讲座大西幼舒馨分园:音研引智,乐享悦心音乐活动是幼儿园活动的重要组成部分,不仅具有潜移默化.美化心灵的作用,更是幼儿生活.学习和成长过程中不可或 ...
教授专栏31 | 许佳龙: 疫下3观察--看香港科技应用短板
文 / 许佳龙教授远程医疗受忽视多年无寸进要说的首个疫下观察,很让人伤感.在疫情下,不少人到急症室轮候诊治,但病床数目有限,很多病人包括一些长者于严寒天气下,在医院门外临时搭建帐篷轮候:也有在家 ...

Classifying dynamic textures via spatiotemporal fractal analysis（许教授）

Classifying dynamic textures via spatiotemporal fractal analysis（许教授）相关推荐

最新文章

热门文章