关键词:
生成对抗网络
微分同胚配准
可形变配准
数字图像处理
医学影像
摘要:
医学成像技术作为临床诊断中的重要判别依据,通过非侵入方式呈现患者体内高清图像,为医生提供了详细且准确的病灶信息。甚至在多数情况,医生仅根据计算机辅助诊断的结果便可为患者制定治疗流程。然而,单幅图像所包含的病理学信息是有限的,如果将不同图像信息融合,必然可以提高诊断结果的准确性与可信度。在此背景下,医学图像配准技术孕育而生,通过寻找待配准图像与配准目标之间空间映射关系使两幅图像达到解剖空间相似度的某种一致性,从而融合二者包含的信息。如今,医学图像配准技术已经在多种临床场景得到应用,疾病的发展预测与影像导航手术就是其中很好的示例。依据运行时优化形变参数方式不同,现有的配准技术大致可被分为传统配准方法和基于学习的配准方法。其中,传统配准方法具备较好的鲁棒性和跨模态性,实现图像间配准的方式是依靠内置的优化策略,通过对输出的形变参数进行调节,实现能量函数的优化。近年来,深度学习技术在各大图像处理领域大显神威。基于深度学习的配准方法依靠框架内部的深层网络实现了快速且端到端的配准方式,解决了传统配准方法因重复地迭代优化而导致的效率过低,无法适应在时间紧迫的临床场景。并且基于深度学习的配准方法也因其出色的精确度,得到了医学图像处理领域的广泛关注。虽然基于深度学习的配准方法相比传统方法在精度和效率上都已经取得了很大地提升,但多数方法仅使用简单的U-Net网络作为配准网络,并且在损失函数的构成上采用了单一的像素相似度指标以及平滑项,这将导致在配准大位移形变的图像以及有效性方面,展现出性能不足的问题。针对上述问题,本文展开了研究工作,前期收集了许多近些年医学领域出现的深度学习配准文章,对它们进行了分类与总结的工作。在这些方法的基础上,文本进行了创新型改进,提出了两种基于深度学习的配准方法GRNet和DSDNet。其中,GRNet采用基于器官轮廓实现的生成对抗框架,解决了因配准目标间解剖区域存在大尺度非线性差距而导致精确度不足的问题。而DSDNet以输出双向的速度矢量场的形式实现了可微分同胚配准,解决了因微分同胚变换中逆一致性时常被忽略,从而无法获得微分同胚形变的问题。下面是对本文工作中主要内容与创新点做出地进一步概述:(1)文章收集了许多近年来出现的优秀配准方法,对其中基于深度学习的医学图像配准方法进行综述性叙述,详细剖析了基于深度学习的配准框架内部包含的每个模块的功能与实现形式,以及涉及的图形算法等。之后,按照监督标签的不同对基于深度学习的医学图像配准进行了分类,主要分成监督学习、无监督学习以及弱监督学习的配准方法。并且详细地描述每一种分类方式对应的配准流程框架,并介绍了使用该种学习方式的许多突出工作。最后,通过总结本文发现了一些可以显著提高配准性能的常见架构和技巧,并对它们进行了概述和总结。(2)为解决需要大尺度与非线性形变的配准问题,本文提出了一种基于弱监督学习的对抗配准方法GRNet。它相比传统方法和基于监督学习的配准方法,不仅提高了配准效率与精确度,且不需要地面真值变形标签。整体框架采用GAN实现图像配准,包含配准网络和判别网络。其中,配准网络采用Nested U-Net结构设计,结合残差网络以防止网络发生退化现象。损失函数部分融合了多种反馈信息,例如将差异哈希肺部相似度和图像解剖分割信息等多种指标加入框架中适应多种配准任务。为了更好的协调网络的训练,本文提出了一种损失约束的对抗训练方法,它可以根据损失函数中的对抗反馈信息的大小对训练进行主动地监督调控,这不仅使训练变得稳定,同时也提升了整体模型的性能。(3)为解决因为形变逆一致性被忽略而导致信息的丢失问题,本文提出了一种新颖的微分同胚配准方法DSDNet,兼容了无监督和弱监督学习的训练方式。该方法相比现有的深度学习配准方法,在配准有效性上取得了明显的进步。其中配准网络的设计采用具有对称输出的U-Net结构,实现了图像间的双向配准,这使得模型不仅可以同时学习双向信息,根据输出的正、逆向流场设计了一种全新的损失函数,称作逆一致性损失,用于保证对图像的形变过程的可逆性。此外网络的输出使用静态速度场代替常用的位移场,可以有效地提高形变的平滑程度。最后在方法提出的对应章节还详细分析了解剖分割标签给模型带来的影响。