纹理分析以及结合深度学习来提升纹理分类效果

点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”

因公众号更改了推送规则，记得读完点“在看”~下次AI公园的新文章就能及时出现在您的订阅列表中

作者：Trapti Kalra

编译：ronghuaiyang

导读

纹理分析的介绍，各种纹理分析方法，并结合深度学习提升纹理分类。

人工智能的一个独特应用领域是帮助验证和评估材料和产品的质量。在IBM，我们开发了创新技术，利用本地移动设备，专业的微型传感器技术，和AI，提供实时、解决方案，利用智能手机技术，来代替易于出错的视觉检查设备和实验室里昂贵的设备。

在开发质量和可靠性检查的人工智能能力的同时，产品和材料的图像需要是高清晰度的或者是微观尺度的，因此，设计能够同时代表采样图像的局部和全局独特性的特征变得极为重要。利用来自纹理分析方法的特征来丰富基于深度CNN的模型是一种非常有效的方法来实现更好的训练模型。

为了更好地理解纹理分析方法在深度学习中的应用，我们先来了解一下什么是纹理分析。

什么是纹理？

纹理是粗糙度、对比度、方向性、线条相似性、规则性和粗糙度的度量，有助于我们理解图像中颜色或强度的空间排列。纹理是图像强度中局部变化的重复模式(图1)。

图1，纹理图像示例 (a)原始图像，(b)纹理重复模式

纹理由纹理原语或纹理元素组成，有时被称为元纹理。元纹理用于从图像中找到对象的色调和纹理。图像的色调取决于元纹理的像素强度属性，而纹理处理元纹理之间的空间连接。

例如，如果元纹理之间的色调差异很大，而元纹理的尺寸很小，它就像一个精细的纹理，如果一个元纹理包含很多像素，那么它就像一个粗糙的纹理。

我们需要了解不同类型的纹理才能正确地分析它们。在开始任何与纹理相关的项目之前，最好知道你将处理什么样的纹理。

不同类型的纹理

纹理的分类是困难的，因为它的一些属性，如规律性、随机性、均匀性和变形没有得到适当的定义，以及纹理类型是广泛的和复杂的。

通常，纹理像粗糙，凹凸，干燥，光泽，沙质，硬，尖锐等，属于粗糙类别，而纹理像细，光滑，湿，皱，丝滑，软，暗等，属于光滑类别。

广义上，纹理分为两类，即触觉和视觉纹理。

触觉指的是一个表面的直接有形的感觉，即触觉纹理就像一个真实的对象。当一个物体被触摸时，我们可以感觉到它的质地。手感可以是光滑、柔软、坚硬、黏滑、粗糙、粘滑、丝滑等。自然纹理的例子有木头、岩石、玻璃、金属、树叶等，如图2所示。

图2，自然纹理的例子

视觉纹理被定义为纹理产生给人类观察者的视觉印象，也就是说，它不是真正的纹理，但它是人从图像中检查纹理的方法。照片中的物体可能看起来很粗糙，但是，照片的感觉总是平坦和光滑的。

根据视觉纹理的随机性程度，可以进一步将视觉纹理分为规则纹理和随机纹理。

将简单可识别的小尺寸的部分平贴到固体周期模式中，形成“规则纹理”(图3)，而随机模式中较难识别部分组成“随机纹理”(图4)。

图3，规则纹理的例子

图4，随机纹理的例子

那么，现在最大的问题是，纹理分析在提高计算机视觉任务中深度学习的有效性方面的意义是什么?

纹理分析用在哪里？

如今，纹理分析是许多任务的重要组成部分，从医学影像到遥感，也被用于大型图像数据库的内容查询。

在工业检测中，当现有的技术无法解决的时候，纹理分析是一个强大的工具。让我们以木材制造为例，在这种情况下，不使用纹理分析很难检测裂纹。

纹理检测还用于对地毯进行分级中，根据地毯因磨损引起的外观变化。纹理分析用于皮革检查，通过评估颜色、厚度和灰度变化。有缺陷的碎片通常会在皮革上留下疤痕或褶皱。

纹理分析的应用范围包括纹理分类，如遥感(图5)，纹理分割，如生物医学成像(图6)。它还被用于图像合成和模式识别任务，如从照片中识别绘画。

当图像中的物体是通过纹理属性而不是强度进行分类，或者阈值技术无法对其进行正确分类时，纹理分析就发挥了重要作用。

图5，利用纹理分析的遥感图像。由遥感领域的专家对这些纹理模式进行聚类识别和标记

下图(图6)显示了二流腔静脉的超声图像(图的下三分之一处为钝区)。肝脏的分割，被白色斑点包围的区域，显示出与周围组织相比独特的纹理。

图6，利用纹理分析的医学图像

如今，纹理分析也被用于食品制造行业，以了解食品的质量。硬糖、耐嚼的巧克力曲奇、脆饼干、粘稠的太妃糖、脆芹菜、嫩牛排等食物都含有多种纹理。纹理分析在这一领域有很大的应用，例如食物的口感特性可以通过纹理分析很容易地测量出来。

它也被用于一项名为“流变学”的研究，这是一门研究物质变形和流动的科学，换句话说，是研究物体受到外力作用时的反应。

除了所有这些，纹理分析可以用来测量/评估许多产品的质量，如粘合剂，药品，皮肤/头发护理产品，聚合物等。

到目前为止，我们已经了解了纹理分析可以应用在哪里，在下一节让我们看看如何根据纹理对图像进行分类。

纹理分析如何应用到分类问题中以及为何它如此重要？

到目前为止，我们已经了解了不同类型的纹理，并看到了现实生活中纹理分析很有用的例子。让我们了解如何在分类问题中使用它，分类器的主要目标是通过为每个图像提供描述符来对纹理图像进行分类。换句话说,

分配一个未知的样本到一个预定义的纹理类被称为纹理分类

在进行纹理分类时，考虑了图像的图案和纹理内容。基于纹理的分类是基于纹理特征(如粗糙度、不规则性、均匀性、平滑度等)进行的。任何图像数据集中的每个类都很可能具有不同的纹理，这使得它成为一个独特的属性，有助于模型更准确地对图像进行分类。

提取纹理的不同技术和方法

有多种方法用于从图像中提取纹理。在本文中，我们将讨论最常用和最重要的纹理提取方法。

GLCM (Grey Level Co-occurrence Matrix，灰度共生矩阵)是一种常用的、基本的纹理分析统计方法。GLCM特征基于二阶统计量，用于从均匀性、同质性等角度了解像素间的平均相关程度。

LBP是一种结合了结构和统计方法的方法，使纹理分析更有效。现实中LBP的一个重要特征是它对不同光照条件引起的单调的灰度变化的容忍度。它的简单计算允许在实时场景中使用。

小波是一种基于变换的方法，可以捕捉局部的频率和空间信息。GLCM和LBP关注的是纹理的空间排列，但纹理的关键要素是尺度，根据一项心理-视觉研究，我们的大脑处理图像的方式是多尺度的。我们的大脑会进行不同的空间频率分析来识别纹理。基于这一思想，小波分析关注的是频率和空间信息。

分形是图像自相似性和粗糙度的重要度量。它能够表征其他纹理分析方法所不能表征的纹理。有各种各样的技术来测量图像的平滑度、均匀度、平均值和标准差，但分形方法主要关注图像纹理的“粗糙度”，并相应地对纹理进行分类。

图像梯度是一种检测图像边缘的完美技术，因为它变得更容易识别纹理时，边缘高亮。纹理边界用于自然边界的有效划分，一旦这些边界被正确识别，基于这些边界的纹理区分就很简单了。

这五种方法对不同的纹理数据集都取得了满意的结果。每种技术都强调纹理的独特属性。在下面的部分中，我们将研究这些技术的特征构造方法。

灰度共生矩阵 (GLCM):

GLCM提供了关于图像像素之间如何相互关联的信息，这种关系帮助我们根据从GLCM中提取的多个特征对纹理进行分类。矩阵给出了具有相似强度的像素的位置信息。可能的强度值集合是二维数组的行和列标签(P)

GLCM的P