科创中国

本申请涉及一种三维肿瘤实时跟踪方法、装置、计算机设备及存储介质。所述方法包括：获取肿瘤部位的浮动图像和参考图像；对所述浮动图像和参考图像进行混合数据增强，得到代表各个呼吸相位的3D CT图像和浮动分割图像；利用光线投照算法对所述3D CT图像进行投影，生成对应时刻的2D DRR影像；将所述2D DRR影像输入训练好的肿瘤追踪网络，通过所述肿瘤追踪网络输出2D DRR影像的3D形变场，将所述3D形变场作用于参考图像，生成所述2D DRR影像对应时刻的肿瘤预测分割图像。本申请实施例基于单角度x射线影像进行肿瘤追踪，极大地减少了辐照剂量，实现了在低剂量下的高精度肿瘤追踪，并显著提高了肿瘤追踪的速度。

一种三维肿瘤实时跟踪方法，其特征在于，包括： 获取肿瘤部位的浮动图像和参考图像； 对所述浮动图像和参考图像进行混合数据增强，得到代表各个呼吸相位的3D CT图像和浮动分割图像； 利用光线投照算法对所述3D CT图像进行投影，生成对应时刻的2D DRR影像； 将所述2D DRR影像输入训练好的肿瘤追踪网络，通过所述肿瘤追踪网络输出2D DRR影像的3D形变场，将所述3D形变场作用于参考图像，生成所述2D DRR影像对应时刻的肿瘤预测分割图像。 2.根据权利要求1所述的三维肿瘤实时跟踪方法，其特征在于，所述利用获取肿瘤部位的浮动图像和参考图像具体为： 将呼气末端作为浮动图像MCT，将其余呼吸相位作为参考图像Mseg。 3.根据权利要求2所述的三维肿瘤实时跟踪方法，其特征在于，所述对所述浮动图像和参考图像进行混合数据增强，得到代表各个呼吸相位的3DCT图像和浮动分割图像具体为： 利用Demons图像配准算法对所述浮动图像MCT和参考图像Mseg依次进行配准，得到各个呼吸相位间的形变φ1,...i,j；

放射治疗的目标是最大限度地消除肿瘤细胞，同时保护周围正常组织和器官。然而，在呼吸运动、心脏运动的放疗过程中，器官及肿瘤的形状和位置可能会发生变化，从而影响放射治疗的准确性。为了使照射野紧密跟随靶区，同时避免损害周围正常组织和器官，需要快速采集放疗过程中的图像，并将其与制定放疗计划的影像进行配准，从而获得放疗过程中肿瘤的实时位置，实现肿瘤细胞的实时追踪。

现有技术中的肿瘤追踪方法通常包括以下两种：

1、利用标记物进行追踪；该方法包括内部标记以及外部标记，内部标记即直接植入肿瘤或周围组织的内部标记物，通过连续成像实时获取肿瘤位置信息，具有较高准确性。然而，该方法具有侵入性，容易导致气胸感染、免疫排斥反应等问题。外部标记即用一个外部替代物作为内部标记的替代，该方法需要建立外部替代物和肿瘤之间的关系模型，但随着呼吸查找和放疗过程的进展，关系模型可能会发生变化，导致定位不准确，从而严重影响放疗的精确性。

2、利用图像配准进行肿瘤定位；该方法通过获取2D投影图像和3D图像之间的映射变形场，实现从放射治疗前图像自动传播到放射治疗中图像的肿瘤轮廓。该方法可分为基于模型的配准和基于数据驱动的配准。基于模型的配准方法试图利用基于B-Spline或PCA的降维模型，通过提取主要系数或成分，建立基于特定先验的病人空间，并通过迭代优化完成肺部查找模型。然而，该方法通常需要对待配准图像逐一进行迭代优化，导致配准速度缓慢，无法满足肿瘤定位的实时要求。在大量数据训练模型的前提下，基于数据驱动的配准方法在测试阶段可直接进行应用，无需重新训练，因此可以大大缩短登记时间。然而，该方法所使用的2D图像通常需要多张多角度拍摄的X-ray或CBCT投影，辐照剂量较大，可能对病人产生额外伤害，且配准时间较长。

中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。

相对于现有技术，本申请实施例产生的有益效果在于：本申请实施例的三维肿瘤实时跟踪方法、装置、计算机设备以及存储介质通过对浮动图像和参考图像进行混合数据增强，得到代表肺部各个呼吸相位的3D CT图像和浮动分割图像，利用光线投照算法对3DCT图像进行投影，生成对应时刻的2DDRR影像，将2DDRR影像输入训练好的肿瘤追踪网络，肿瘤追踪网络利用Swin Transformer和CNN相结合的网络框架实现基于单张X射线影像的肿瘤追踪。本申请实施例基于单角度x射线影像进行肿瘤追踪，极大地减少了辐照剂量，能够在较短的时间内实现低剂量、高精度的3D肿瘤追踪，有利于图像引导手术和放射治疗，同时简化了层析成像系统硬件。同时，本申请实施例利用Swin Transformer和CNN相结合进行肿瘤跟踪，在保留自注意力机制得到更高精度的同时，显著提高了肿瘤追踪的速度。

技术合作

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。