参考文献：Review of Breast Cancer Pathologigcal Image Processing - PubMed

引用：

Ya-nan Zhang, Ke-rui XIA, Chang-yi LI, Ben-li WEI, Bing Zhang, "Review of Breast Cancer Pathologigcal Image Processing", BioMed Research International, vol. 2021, Article ID 1994764, 7 pages, 2021. https://doi.org/10.1155/2021/1994764

摘要

介绍

乳腺癌的检测

乳腺癌图像分割

乳腺癌图像配准

乳腺癌图像融合

预测和挑战

总结

摘要

乳腺癌是最常见的恶性肿瘤之一。乳房的病理图像处理已成为早期诊断乳腺癌的重要手段。使用医学图像处理来帮助医生尽早检测潜在的乳腺癌，一直是医学图像诊断领域的热门话题。在本文中，基于图像处理的乳腺癌识别方法是从四个方面系统地阐明的：乳腺癌检测，图像分割，图像配准和图像融合。阐述了监督学习，无监督学习，深度学习，CNN等的成就和应用范围。无监督学习和迁移学习以进行乳腺癌诊断的前景。最后，提出了乳腺癌患者的隐私保护。

介绍

乳腺癌是最常见的恶性肿瘤之一。根据中国妇女的调查，乳腺癌是中国妇女最常见的恶性肿瘤，而且发病率逐年增加。降低乳腺癌死亡率的关键是早期诊断和治疗。目前，乳房X线摄影是检测乳腺癌的最常用方法。但是，由于早期乳腺癌的数据大量和不良的成像特征，早期诊断非常困难。随着图像处理技术和早期诊断技术的发展，乳房病理学的图像处理已成为早期诊断乳腺癌的重要方法，其中主要包括研究肿块，钙化和乳房密度。乳腺X线摄影中乳腺癌的主要表现之一是质量。病理图像处理的基本步骤如下：首先是图像预处理，其中包括去除背景，标记，胸肌和噪声以及乳房分割和图像增强。其次，通过基本图像处理方法找到了感兴趣的区域。然后，提取了可以代表质量的特征，例如纹理特征和形态特征。最后，根据提取的特征将肿瘤和正常组织分离。 X射线图像上乳腺癌的另一种表现是较大的乳房密度[1]。

乳房病理图像处理的对象是具有不同成像机制的各种医学图像。临床广泛使用的医学成像类型包括X射线成像（X-CT），磁共振成像（MRI），核医学成像（NMI）和超声成像（UI）。 X射线成像（X-CT），主要通过X射线断层扫描，例如头断层扫描，用于诊断脑血管疾病和颅内出血。 X射线断层扫描（tomography）对诊断创伤性（traumatic）头骨和面部骨折具有良好的作用。磁共振成像（MRI）是一种无创（noninvasive）成像技术，可以产生三维的解剖图像[2]。核医学成像（NMI）基于内部和外部器官外部或器官不同部分之间的放射性浓度的差异[3，4]。 UI用于观察肿块的形状，位置，大小，数量和范围以及腹部器官的活性。观察到边缘回波，囊，光滑度，壁厚和光晕。根据临床数据，可以通过X射线检查来调整乳腺癌的症状，该检查通过X射线乳房X线摄影鉴定。肿瘤检测的MRI结果高于实际值，而肿瘤检测的CT结果低于实际值。动态增强的CT检查乳房病变可以更好地克服遗漏检测的情况。

医学图像获取和解释是基于医学成像的乳腺癌诊断的基础。近年来，图像获取的速度和分辨率得到了极大的改善。但是，图像诊断受到医生的经验，能力和其他主观因素的限制，其复制和提升能力受到限制。为了最大程度地减少对医生的依赖，将图像处理技术应用于医学成像处理。医疗图像处理包括病变检测，图像分割，图像配准和图像融合。除临床诊断外，医学图像处理在医学教学，操作计划，操作方针和各种医学研究中还起着重要的辅助作用[5，6]。

乳腺癌的检测

乳腺癌的检测主要基于检测方法，病变检测的图像处理，病变位置匹配以及病变特征值的提取。乳腺癌检测可以通过监督学习或经典图像处理来检测候选病变位置。图像处理和卷积神经网络（CNN）的结合是近年来深度学习的成功例子之一。 CNN分别应用于乳腺癌图像分析，分别映射输入层，池化层，修正线性单元，所有连接层和输出层，并预测由医学图像表示的信息。例如，Setio等人。在3D胸部CT扫描的九个不同方向上提取了肺结节的特征，选择了合适的候选者作为中心，并通过CNN对候选者进行了分类[3，7-11]。罗斯等人。将3D图像分解为2D块，然后随机旋转2D块以获取“ 2.5D”视图。 CNN用于从2.5D视图中检测癌症的早期特征。深度学习和图像处理的结合极大地提高了病变检测的准确性[12]，而通过使用非深度学习分类器（例如支持向量机器），很难实现高精度。 CNN算法的准确性取决于专家对初始标记的训练，并且需要广泛的案例覆盖范围。因此，在医学图像处理领域中CNN的促进受到资源“迁移学习”的约束，这些资源可以在一定程度上降低CNN对初始标记训练的依赖[13，14]，但是迁移学习的应用本身是有限，因此很难在人体器官的医学图像之间找到转移学习的应用条件。

乳腺癌的早期诊断可以通过肿瘤标记检测。肿瘤标记是在生长和繁殖过程中由肿瘤细胞产生和分泌的物质。当这些物质达到一定量时，可以从乳房图像中提取它们。可以通过使用SIFT（尺度不变特征变换）或HOG（方向梯度的直方图）等来鉴定乳腺癌的早期特征值，从而为早期诊断乳腺癌提供支持。图像处理技术和强化学习技术的结合可以在很大程度上降低对人类医生经验的依赖。图像处理技术用于处理二维切片，然后将强化学习组合在一起以设定增强目标。通过每个离散二维切片的判断，找到了最佳决策策略，以最大程度地判断整个二维切片组的病理正确性的好处。通过分析和处理二维切片图像，可以实现分割，提取，三维重建以及人类乳房的三维显示，周围的软组织和病变。在特征进行校准之后，使用加固学习用于定量分析乳房周围的病变和区域。结合收入目标，学习是通过持续尝试进行的。目标是获得最大收入价值。基于增强学习方法，发现乳腺癌不需要知道如何产生正确的乳腺癌识别作用。强化学习依赖于自己的学习，不断尝试和犯错误，并在试验和错误过程中不断记录收入的最大价值，直到找到最大收入价值的方法为止。

乳腺癌图像分割

基于给定的特征因素，医学图像分割比较图像之间特征因素的相似性，并将图像分为几个区域。医学图像分割的对象主要包括细胞，组织和器官。基于区域的分割方法主要基于图像的空间局部特征，例如灰色，纹理和其他像素统计特征。基于边界的分割方法主要使用梯度信息来确定目标的边界。例如，快速行进算法和水变换的医学图像分割方法可以快速准确地分割图像[15]。

近年来，随着其他新兴学科的发展，图像分割技术迅速发展，跨学科生成的新方法无休止地出现。已经开发了一些用于乳腺癌检测的新图像分割技术，例如基于统计的方法，基于模糊理论的方法，基于神经网络的方法，基于小波分析的方法，基于模型的蛇模型（动态模型轮廓模型）和组合优化模型。尽管已经提出了新的分割方法，但结果并不理想。目前，研究重点是一种基于知识的分割方法。也就是说，通过某些方式将一些先验知识引入分段过程中，以限制计算机细分过程，以便可以在我们无法理解的情况下控制分割结果，而无需走得太远[16]。例如，当肝脏中肿瘤的灰度与正常肝脏的灰度非常不同时，肿瘤和正常肝脏不会被视为两个独立的组织。以上所有方法都有其自身的局限性。在特定情况下，结果是好的，但在特定方案之外并不理想。由于内部器官，肌肉，血管和其他器官的边界通常非常复杂，因此器官的患病区域与正常组织混合在一起，并且患病区域和正常组织的灰度和边界之间的差异相对较小，很难在医学图像中识别这些器官和患病区域，现有的图像分割算法无法独立完成图像分割的任务。还需要人干预[17]。医疗图像分割与其他字段中的图像分割完全不同。现有的经典算法在医学图像分割中的影响不好。仍然有必要继续研究图像分割的准确性，速度，适应性和鲁棒性[18]。基于先验知识的图像分割方法可以很好地控制图像的分割边界。例如，在肝内肿块的分割中，基于先验知识的图像分割方法可以识别肝内肿块和正常肝脏按灰色值识别。但是，基于先验知识的图像分割需要大量的先验数据。先验数据越多，结果就越准确。例如，基于2891次心脏超声数据的Ghesu等人使用深度学习和边缘空间学习来检测和分段心脏超声图像[17，18]。参数空间探索和数据稀疏性是提高医疗图像分割效率的重要因素。 Brosch等。通过卷积和反卷积提出了一个3D深卷积编码器网络，以分割多发性硬化症脑病变和正常的大脑区域[19]。数据归一化和数据增强技术应用于脑肿瘤分割研究中可疑肿瘤的图像增强和核心区域，并取得了良好的结果[20]。医学图像分割方法的研究具有以下显着的特征：任何现有的图像分割算法都很难获得一般图像的令人满意的结果，因此应更加关注多个分割算法的有效组合。由于人类解剖结构的复杂性和功能的系统性，尽管已经进行了有关医学图像自动分割方法以区分指定器官和组织或找到病变区域的研究，但现有的软件包通常无法完成自动分割，仍然需要自动分割和解剖学的手动干预[21]。目前，计算机无法完成图像分割的任务，因此人类计算机交互式分割方法已逐渐成为研究的重点。新分割方法的研究主要集中在自动，准确，快速，适应性和健壮的功能上。传统分割技术和现代细分技术的全面利用是将来医学图像分割技术的发展方向[22，23]。

乳腺癌图像配准

图像配准是图像融合的第一个模拟检查。在乳腺癌临床诊断中，需要多种模式或图像配准和融合模式。更多的信息可以帮助医生提供更准确的诊断[24]。在乳腺癌的临床诊断过程中，医学图像配准主要将参考点定位在两个或更多图像中。通过空间位置变换（例如旋转），参考点位于坐标系中。配准要求图像之间的点映射是一对一的对应关系，也就是说，图像空间中的每个点在另一个图像空间中或医学诊断意义上都有相应的点，图像中的点可以准确或近似准确地对应[25-27]。配准可以分为两种类型：基于外部特征和基于内部特征。基于图像内部特征的配准是无创和可追溯的，这是关于配准算法的研究重点[28]。

乳腺癌的医学配准研究有两个主要类别：（1）深度学习网络用于估计两个图像的相似性和驱动迭代优化，和（2）深度回归网络直接用于预测转换参数。前者仅使用深度学习进行相似性测量，并且仍然需要传统的配准方法进行迭代优化。它并没有充分发挥深度学习的优势，需要很长时间，并且很难实现实时配准。因此，仅研究和讨论后者，该结论仅限于这种非辅助配准方法。基于有监督的学习，有两种获取标签的方法：（1）传统的经典配准方法用于配准，并且变形域用作标签。（2）原始图像被仿真为固定图像，变形图像作为移动图像以及模拟的变形域作为标签。基于无监督的学习，配准对输入到网络中以获得变形字段，并插值移动图像以获得配准图像。 3D图像与之相似。 3D图像输入到网络中以获得变形域（DX，DY，DZ），然后通过插值获得配准图像。但是，乳腺癌的医学图像配准仍然是一个未解决的经典问题。在该领域中没有普遍认可的黄金标准，也没有相应的大数据库。深度学习方法在乳腺癌图像配准中有一些成功的病例。通常有几个原因：（1）该领域的专家知识利用的好，（2）数据通过数据增强对数据进行了正确的预处理和处理，（3）为单个任务设计了特殊的网络结构，并且（4 ）使用了适当的超级参数优化方法：例如基于直觉或贝叶斯方法的参数调整。但在乳腺癌医学图像配准领域仍然存在一些困难和挑战：（1）缺乏精确标注的大型数据库。（2）特定任务需要该领域专家的指导。（3）在某些模棱两可的图像中，很难同意不同专家的观点。（4）两个分类模型太简单了，无法胜任更复杂的情况。（5）图像中仍然存在乳腺癌医学图像分析的困难。除了分析外，我们还需要充分利用有关患者其他维度的信息，例如年龄，病史等。（6）基于切片的神经网络很难使用相应的解剖结构的位置信息在原始图像中，但是将整个图像转移到神经网络中的方法具有相应的缺点。虽然Esteva等。 2017年和Gulshan等人在皮肤病学方面取得了惊人的进步。在2016年的眼科研究中，他们与两个领域的人类专家相比，其准确性更高。但是，其成功的基本原因是上述两个问题足够简单，并且Imagenet数据集的数据量非常大，因此现有模型应用于上述两个问题，并取得了非常好的结果。通常，没有这种简单的结构，也没有有效的网络结构可用于3D灰色或多通道图像预处理。无监督学习而不是监督学习的优点是，无监督的学习不需要大量精确标记的数据。此外，无监督的学习模仿了人类学习的方式，可以自动执行所需的任务而无需特别的标签，或者在很少的监督下处理大量的分类问题。目前，无监督学习的主要方法是自编码的VAE和生成神经网络gan。与精确标记的乳腺癌医学图像相比，未标记的乳腺癌医学图像数据更容易获得。无监督的学习可以直接使用标准的乳腺癌医学图像，而无需任何监督，因此它具有更多的优势。最后，由于深度学习类似于黑匣子模型，因此对乳腺癌医学图像领域的解释需要更高的模型，并且需要进一步的工作。目前，一些工作包括将贝叶斯统计数据引入深度学习，这将有助于衡量预测的不确定性。

多模态医学图像配准是乳腺癌配准的新方向，例如基于PCANET的结构表示的非辅助多模态医学图像配准[29]。 PCANET可以通过多级线性和非线性变换从大量医学图像中自动学习内在特征，与人工特征提取方法相比，它具有更好的信息熵。从PCANET每一层提取的多级图像特征可以有效地表示多模态图像。医学图像配准技术和信息学理论的融合为乳腺癌的医学图像配准开辟了一个新想法。例如，最大信息熵的原理应用于图像配准，该原理可以最大程度地提高信息的多样性并保留主要信息，而无需忽略辅助信息[30-35]。三维多模态图像配准是医疗图像配准的新方向。它比二维图像具有更多的信息，并且可以更有效地支持医生的诊断。此外，一些新的图像配准算法，例如基于拓扑的乳腺癌的图像识别，从现有的乳腺癌图像中提取特征点。它们被合并为具有特定拓扑结构作为匹配模板的匹配区域。在要匹配的乳房图像中，发现具有相似拓扑结构的区域。这些区域可能是乳腺癌。基于拓扑结构的乳腺癌识别图像识别的主要步骤如下：（1）第一个是提取特定量的特征点或特征区域，并将其结合到拓扑模板中。（2）提取要匹配的图像的拓扑。（3）通过比较要与拓扑模板匹配的图像中的拓扑结构，发现具有相似拓扑的区域。（4）比较拓扑模板中相似拓扑和特征点之间的相似性，拓扑相似性和特征点相似性的乘积被认为是最终相似性。基于拓扑结构的图像识别的示意图如图1所示。在图1中，左虚线是拓扑模板，中间虚线是从图像中提取的拓扑结构，右虚线是具有相似拓扑的区域[36]。具有相似拓扑的区域[36]。其他方法，例如基于小波变换的算法，统计参数映射算法和遗传算法也连续整合到乳腺癌图像配准中。多主体优化，强化学习和其他医学图像注册方法的结合是医学图像配准的未来开发方向。

乳腺癌图像融合

乳腺癌图像融合从多个图像中提取有用的信息，过滤冗余信息，并提高图像的医疗价值。通常，从低到高的图像融合是信号级融合，数据级融合，特征级融合和决策级融合。

（1）信号级：在最低级别，未加工的传感器输出在信号域中混合以产生熔融信号。融合信号具有与源信号相同的形式，但其质量更好。传感器的信号可以建模为与不同相关噪声混合的随机变量。在这种情况下，融合可以视为估计过程，信号级图像融合是信号的最佳浓度或分布检测问题，在很大程度上需要时间和空间中的最高配准。

（2）像素级：像素级图像融合是三个级别的最基本融合。在像素级图像融合后，获得的图像具有更详细的信息，例如边缘和纹理提取，这有利于对图像的进一步分析，处理和理解。它还可以暴露潜在目标，这有利于判断和识别潜在目标像素的操作。此方法可以在源图像中节省尽可能多的信息，并增加融合图像的内容和详细信息[37]。这个优势是唯一的，只有像素级融合。但是，像素级图像融合的局限性无法忽略，因为它是在像素上操作的，因此计算机必须处理大量数据，并且处理时间将相对较长，因此融合的图像不能是无法实现展示和实时处理。此外，在数据通信中，信息量很大，并且很容易受到噪声的影响。此外，如果您直接参与图像融合而没有严格的图像配准，融合图像将变得模糊，并且目标和细节会不清楚和准确。

（3）特征级别：特征级别图像融合是从源图像中提取特征信息。特征信息是源图像中目标或感兴趣区域的信息，例如边缘，人，建筑物或车辆。然后，对特征信息进行分析，处理和集成以获取融合图像特征。基于融合特征的目标识别的准确性显然高于原始图像的准确性。图像信息通过特征级融合压缩，然后通过计算机进行分析和处理。与像素级别相比，将减少内存和时间，并将改善所需图像的实时性能。特征级图像融合所需的图像匹配的准确性比第一层较低，并且其计算速度比第一层要快。但是，它将图像特征提取为融合信息，因此它将丢失很多细节特征。

（4）决策级：决策级图像融合是一种基于认知的方法，它不仅是图像融合方法的最高级，而且是最高抽象级别。决策级图像融合是针对的[38]。根据问题的具体要求，使用从特征级别图像获得的特征信息，然后，根据某些标准直接做出最佳决策，并且每个决定的可信度，即存在的可能性目标。在前三个融合级中，决策级图像融合的计算最小，但是该方法对先前的水平具有很强的依赖性，与前两个融合方法相比，图像并不十分清晰。很难意识到决策级图像融合，但是噪声对图像传输的影响最小。

总而言之，数据级融合是直接处理收集的数据以获得融合图像的过程，这是高级图像融合的基础。特征级融合保留了不同图像中包含的信息。决策级融合是基于主观需求的最高图像融合水平。在乳房医学图像融合中，数据级融合是主要方法。例如，多模态医学图像融合是一项整合多个维信息的技术。它可以为乳腺癌的临床检测提供更全面和准确的信息[39]。图像融合的步骤主要分为图像数据融合和融合图像显示。目前，乳房图像的数据融合主要基于像素，该像素逐点处理图像，并将两个图像的相应像素的灰色值汇总。但是，使用此方法后，图像将在一定程度上模糊。基于乳房图像特征的融合方法需要提取图像特征，并在图像上进行目标分割和其他处理。融合图像的显示包括伪色彩显示，层析成像显示和三维显示。伪色彩显示以将一图片为基准，并将图像的灰色和对比度叠加到与基准图像融合在一起。层析成像显示方法可以在横截面，冠状图像和矢状图像中同步显示融合的三维数据，这对于观察者来说很方便。三维显示方法，即三维重建，是以三维图像的形式显示融合的乳房数据，这可以更直观地观察病变的空间解剖位置。 3D重建的最早方法是反向投影。目前，有两种常见的重建方法：过滤后的反向投影和卷积反向投影。三维图像的信息内容很大，未来的三维图像融合技术将成为图像融合研究的重点。随着跨学科研究的发展，新的图像融合方法正在出现。小波变换，基于有限元分析的非线性配准以及乳房图像融合中的人工智能技术的应用将成为图像融合研究的重点。

预测和挑战

（1）在乳腺癌图像处理领域的无监督和监督学习的应用：基于CNN的乳腺癌图像分类是如今的主流分类方法。 CNN参数的微调直接影响最终图像处理结果。无监督的学习将在乳腺癌图像处理中获得更多有希望的结果

（2）的迁移学习和微调在乳腺癌图像处理中的应用：转移学习可以部分缓解不够的注释数据的困境。在迁移学习的过程中，一个更好的计划是将预训练的CNN用作网络的初始化，然后进行进一步的监督训练。标注的数据集仍然是乳腺癌图像处理领域的挑战

（3）患者越来越关注隐私保护。乳腺癌图像数据的隐私吸引了很多关注。在乳腺癌图像处理过程中，有必要提高识别的准确性，帮助医生进行诊断，并注意保护患者隐私，保护图像的原始信息免受未经授权的访问，并诊断图像信息的整个过程授权访问并使图像访问跟踪可追溯

总结

深度学习和强化学习是机器学习算法和乳腺癌图像处理的相对紧密组合，并取得了可观的成绩。乳腺癌图像与其他领域之间存在明显的差异，例如降噪，灰度转化，目标分割和特征提取。传统的图像处理方法不直接应用于乳腺癌图像处理。深度学习在图像处理中的积累不能直接转移到乳腺癌图像处理中。强化学习属于无监督的学习，这与深度学习不同。它使用了不需要大量样本空间的激励机制。与深度学习相比，强化学习具有更大的适用性和较低的推动成本。此外，强化学习在国际象棋，人机游戏和其他领域中取得了非常好的效果，这适用于复杂的逻辑处理。强化学习和医学图像处理的结合将在乳腺癌的临床检测和预测中发挥更大的作用。

乳腺癌病理图像处理综述相关推荐

点云及三维图像处理综述
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自|新机器视觉点云概念点云与三维图像的关系:三维图像是一 ...
病理图像处理个人手札（一）切片制作预处理-标准化
我们常说的病理图像就是指用玻片在扫描仪下拍摄的高分辨率图像(mm级) 病理组织切片制作过程详解: https://wenku.baidu.com/view/60b5d0fe2af90242a995e5 ...
乳腺癌病理图像分类之A Novel Architecture to Classify Histopathology Images Using CNN之二--模型代码复现
论文是讲乳腺癌分类的,简单做个复现,模型如图1,详细介绍如图2,其余细节:batchsize给的是64.(剩下关于激活函数比较,dropout与BN层影响在此不做讨论,通过代码变形实施起来也简单) 详 ...
医学图像分类_腾讯八篇论文入选顶级医学影像会议MICCAI ，涉及病理癌症图像分类等...
加入极市专业CV交流群,与6000+来自腾讯,华为,百度,北大,清华,中科院等名企名校视觉开发者互动交流!更有机会与李开复老师等大牛群内互动! 同时提供每月大咖直播分享.真实项目需求对接.干货资讯汇总 ...
人工智能邀您挑战！BOT系列大赛之病理切片识别AI挑战赛火热报名中
不想等待命运被宣判?一起用AI"逆天改命 BOT系列大赛之病理切片识别AI挑战赛,以人类健康暗影--胃癌为靶心,围绕胃癌病理切片智能识别.诊断,开启大数据与人工智能技术在胃癌病理切片诊断及辅 ...
拯救乳房：乳腺癌AI诊断系统
背景:7月28日,腾讯云在北京举办云+社区沙龙,邀请来自腾讯与四川云检科技的五位AI技术专家,分享他们在专业领域的AI开发经验,帮助开发者在具体行业场景中实践AI技术.本文根据江铖在[7.28日腾讯云 ...
腾讯AI八篇论文入选顶级医学影像会议MICCAI ，涉及病理癌症图像分类等
感谢阅读腾讯AI Lab微信号第87篇文章.本文将解读2019年医学影像AI领域国际顶会MICCAI中腾讯AI的入选论文. 医学影像AI领域的国际顶会 MICCAI 2019 将于10月13-17日在 ...
计算机图像识别 pdf,计算机图像处理与识别技术.pdf
文档介绍: 计算机图像处理与识别技术.PDF图形图像处理系列教材计算机图像处理与识别技术王耀南李树涛毛建旭编著高等教育出版社内容简介本书系统地介绍了计算机图像处理与识别的基本概念.基本理论与 ...
医学图像处理入门资料
医学图像处理综述: https://wenku.baidu.com/view/e16c795c84254b35eefd34ea.html 深度学习在医学图像处理中的应用: https://zhuanl ...

乳腺癌病理图像处理综述

摘要

介绍

乳腺癌的检测

乳腺癌图像分割

乳腺癌图像配准

乳腺癌图像融合

预测和挑战

总结

乳腺癌病理图像处理综述相关推荐

最新文章

热门文章