科创中国

医学影像通常能为临床医生提供大量与生物或解剖组织相关的信息，在诊疗中起着至关重要的作用。然而，无论是由相同还是不同的设备获取，医学图像往往表现出成像质量或成像风格上的差异，如灰度不均匀性、低对比度、明显的模糊或噪声等。图1分别展示了由共聚焦显微镜、彩色眼底相机和内窥镜获取的低质量和高质量例子。对于高质量图像（图1的第二行），几乎所有的细节都可以被临床医生轻松识别。然而，对于低质量图像（图1的第一行），很难清楚地观察到角膜神经纤维、眼底血管、消化道或其他组织的完整结构。与其他图像相比，大多数医学图像来自于具有特定退化因素的成像过程，这可能导致各种低质量的外观伪影，并给临床应用带来额外的挑战。此外，这些低质量因素还会降低许多后续图像分析任务的性能，如特定结构分割、病变检测或其他计算机辅助诊断任务等。因此，通过全自动和可靠的医学图像增强技术来获得具有足够细节和合适对比度的高质量医学图像，对于实现精准医疗的目标至关重要。

　　中国科学院宁波材料技术与工程研究所智能医学影像团队提出了一种新的基于生成对抗网络的医学图像增强方法，称为结构和光照约束生成对抗网络（StillGAN），整体框架如图2所示。该方法的主体是一个类似于CycleGAN的双向生成对抗网络，该网络将图像增强任务视为从低质量图像域到高质量图像域的图像翻译任务，无需严格对齐的高低质量图像对，便可学习将高质量图像的典型特征迁移到低质量图像上来改善其质量。在双向生成对抗网络的基础上，研究人员提出了两个新的约束项——光照正则化项和结构损失项，并将它们引入双向生成对抗网络的目标函数中，旨在克服双向生成对抗网络在捕获局部细节方面的不足，以便获得具有更佳光照分布和结构细节的图像，用于临床判读和后续分析。

　　该方法在角膜共聚焦显微镜图像、眼底彩照和消化道内窥镜图像上均进行了验证，图3分别展示了这三种模态的医学图像增强结果，表明StillGAN能够有效兼顾增强图像的光照均匀性和结构完整性，显著提高了医学图像的视觉质量。研究人员还根据其各自的成像特点和临床关注点采用不同的图像质量定量评估方法，来验证提出的增强方法在临床上的有效性。其中包括邀请临床专家对增强图像的质量重新分类，还通过角膜神经分割和弯曲度分级、黄斑中心凹定位和糖尿病视网膜病变诊断任务间接评估了增强方法在临床应用中的作用，从而进一步阐述了StillGAN的潜在临床价值。

　　相关成果近期以“Structure and Illumination Constrained GAN for Medical Image Enhancement”为题发表在国际期刊IEEE Transactions on Medical Imaging，博士研究生马煜辉为第一作者，赵一天研究员为本文通讯作者。

　　该研究得到了浙江省重点研发计划（2020C03036）、浙江省自然科学基金重点项目（LZ19F010001）、宁波科技创新2025重大专项（2019B10033、2019B1006）以及中科院青促会项目（2021298）等的支持。