本发明涉及一种术前术中肝脏点云数据配准系统、方法、终端以及存储介质。所述方法包括:对术前点云数据和术中点云数据分别提取其局部混合特征;对局部混合特征进行融合,得到术前点云的全局特征、术中点云的全局特征;将术前点云的局部混合特征、全局特征和术中点云的全局特征进行融合,得到术前点云的融合特征;同理得到术中点云的融合特征;对术前点云的融合特征、术中点云的融合特征融合,得到各自的重叠区域掩膜和解码特征;得到术前点云和术中点云的空间变换矩阵;将空间变换矩阵应用到术前点云数据上,得到术前点云数据与术中点云数据的配准结果。本发明能够对肝脏肿瘤的精准定位提供便利,缩短手术时间,提高手术的精度和安全性。
1.一种术前术中肝脏点云数据配准系统,其特征在于,包括:
局部混合特征提取模块:用于对术前点云数据和术中点云数据分别提取其包含几何结构信息的局部混合特征;
全局特征提取模块:用于对上述提取的局部混合特征进行融合,得到术前点云的全局特征、术中点云的全局特征;
特征融合模块:用于将术前点云的局部混合特征、全局特征和术中点云的全局特征进行融合,得到术前点云的融合特征;同理,将术中点云的局部混合特征、全局特征和术前点云的全局特征进行融合,得到术中点云的融合特征;
重叠区域掩膜预测模块,用于对得到的术前点云的融合特征、术中点云的融合特征进行融合,得到各自的重叠区域掩膜和解码特征;
变换矩阵预测模块,用于将术前点云、术中点云的重叠区域掩膜与各自的局部混合特征相乘,并与各自的解码特征链接,得到术前点云和术中点云的空间变换矩阵;
配准模块,用于将计算得到的空间变换矩阵应用到术前点云数据上,得到术前点云数据与术中点云数据的配准结果。
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力,推动我国自主知识产权新工业的建立,成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统,由九个研究平台,国科大深圳先进技术学院,多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究,促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
评价单位:“科创中国”天津中科院先进科技成果技术转移转化专业科技服务团 (天津中科先进技术产业有限公司)
评价时间:2023-11-21
综合评价
本项目涉及一种术前术中肝脏点云数据配准系统、方法、终端以及存储介质。
背景技术:3D腹腔镜肝肿瘤切除术的关键点在于如何在3D腹腔镜视野下对肝脏肿瘤进行精确定位,医学图像配准技术是解决这一问题的有效方法。配准是指将病人术前图像或者术中图像(图像空间)与病人手术区域的解剖结构(物理空间)精准对齐。医学图像配准技术采用的数据通常包括2D数据和3D数据:2D数据医学图像在一定程度上会造成患处信息的损失;而3D数据能够显示更加直观详尽的病理信息,采用3D数据进行配准,能够提高诊断和手术规划的精确度和稳定度。在3D腹腔镜肝肿瘤切除术中,进行配准的图像为术前的肝脏CT图像数据和术中腹腔镜视野下的肝脏表面数据。采用配准技术能够实现对肝脏肿瘤的精准定位,提高手术的精度和安全性。经验不足的医生借助这一技术能够对肝脏切除手术实现更安全的操作,而熟练的专业医生也能够借助这一技术提高手术的准确率,缩短手术时间,提高肿瘤切除率,降低肿瘤残留与局部复发率。
传统的基于标记点的医学图像配准技术需要人工选取标记点,3D腹腔镜肝肿瘤切除术难以对术中的病人手术区域设置标记点,这一方法难以适用。由于肝脏表面较为光滑,缺少有代表性的特征点,采用特征点匹配的医学图像配准技术在肝脏表面难以获得足够的配准信息,所得到的配准精度无法达到3D腹腔镜肝肿瘤切除术的要求。基于深度学习的点云配准技术能够获取点云数据的潜在特征,配准精度超过了传统的配准方法,但配准效果通常受限于所使用的训练数据集,由于有标注的医学图像数据集数量较少,目前采用的训练集通常为自然场景中的数据,对于医学图像配准的适配性不足,同时由于3D腹腔镜视野较小,仅能看到肝脏的部分表面,并且随着气腹造成的压力以及患者的呼吸、体位不同,肝脏还会产生较大的形变,术前和术中点云数据通常只有局部重叠,目前的深度学习配准技术在低重叠度数据上的配准效果还达不到手术要求。有鉴于此,有必要提供一种术前术中肝脏点云数据配准方法,能够针对低重叠度数据,将术前的肝脏CT图像数据和术中腹腔镜视野下的肝脏表面数据进行配准,因此该项技术具备转移转化价值。
查看更多>