6、研究趋势和未来发展

在这一部分中，我们总结了深度学习医学图像配准的研究现状和未来发展方向。如图2所示，一些研究趋势已经出现。首先，基于深度学习的医学图像配准在一般应用中似乎遵循着深度学习再医学图像分析中的趋势。其次，无监督变换估计方法最近越来越受到研究领域的重视。此外，基于深度学习的方法始终优于基于传统优化的方法[93]。根据观察到的研究趋势，我们推测以下的研究方向将会在研究领域受到更多的关注。

Fig. 2 An overview of the number of deep learning based image registration works and deep learning based medical imaging works. The red line represents the trend line for medical imaging based approaches and the blue line represents the trend line for deep learning based medical image registration approaches. The dotted line represents extrapolation.

6.1 深度对抗性图像配准

我们进一步推测，在未来的几年里，GANs将在基于深度学习的图像配准中得到更频繁的应用。如上所述,GAN可以基于不同的目的在深度学习医学图像配准:确保预测转换是现实的,使用鉴别器作为相似性度量,并使用GAN执行图像翻译将多模态配准问题转化为单模态配准问题。
无约束变形场预测可能得到具有不真实器官外形的扭曲移动图像（warped moving images）。常用的方法是将预测变形场的L2范数加入损失函数。然而，Hu等人[50]探索了使用类GAN框架来产生逼真的变形。与L2范数正则化方法相比，用判别器约束变形预测具有更好的性能。
此外，GANs在一些工作中被用来学习一种相似度度量。最近的一些研究[33,134]使用鉴别器来区分对齐和未对齐的图像对。这在多模态配准的情况下特别有用，在这种情况下，手工制作的相似度指标几乎没有成功。由于这使得生成器可以在没有真实转换的情况下进行训练，因此进一步关于用鉴别器作为相似性度量的研究可能出现再多模态配准方向上。
最后，无论是否有配对的训练数据可用[145]，GANs可以用来映射源域中的医学图像(如 MR)到目标域(如CT)[20,55,77,139]。这将是有利的，因为许多单模态的无监督配准方法使用相似性度量来定义它们的损失函数，而在多模态情况下，相似性度量常常失败。如果将图像转换作为预处理步骤，则可以使用常用的相似性度量来定义损失函数

6.2 基于增强学习的配准

我们还预计，强化学习在未来几年将更普遍地用于医学图像配准，因为它非常直观的模仿医生配准的方式。值得注意的是，基于深度学习的医学图像配准存在一些独特的挑战:包括可变形配准案例中动作空间的维数。然而，我们认为这些限制是可以克服的，因为已经有一种方法提出了使用基于增强学习的配准与可变形转换模型[64]。

6.3 原始成像域配准

本文重点讨论了利用重建图像进行配准的方法。然而，我们推测将重构合并到基于端到端深度学习的配准中是可能的。2016年，Wang[130]提出利用深度神经网络进行图像重建。此外，最近的一些工作[138,144,101]证明了深度学习将原始数据域中的数据点映射到重构图像域中的能力。因此，我们有理由期待，以原始数据作为输入和输出的配准在未来几年内能够开发出配准、重建后的图像。

7、结论

本文对近年来利用深度学习进行医学图像配准的研究工作进行了综述。由于每个应用都有其独特的挑战，因此基于深度学习的框架的创建必须仔细设计。大多数基于深度学习的医学图像配准应用都面临着类似的挑战(例如缺乏大型数据库，难以对医学图像进行鲁棒性标记)。最近的成功证明了将深度学习应用于医学图像配准的影响。这一趋势可以在医学成像应用中观察到。未来许多令人兴奋的工作肯定是建立在本文概述的最近进展的基础上的。