本发明涉及一种术前术中肝脏点云数据配准系统、方法、终端以及存储介质。所述方法包括:对术前点云数据和术中点云数据分别提取其局部混合特征;对局部混合特征进行融合,得到术前点云的全局特征、术中点云的全局特征;将术前点云的局部混合特征、全局特征和术中点云的全局特征进行融合,得到术前点云的融合特征;同理得到术中点云的融合特征;对术前点云的融合特征、术中点云的融合特征融合,得到各自的重叠区域掩膜和解码特征;得到术前点云和术中点云的空间变换矩阵;将空间变换矩阵应用到术前点云数据上,得到术前点云数据与术中点云数据的配准结果。本发明能够对肝脏肿瘤的精准定位提供便利,缩短手术时间,提高手术的精度和安全性。
1.一种术前术中肝脏点云数据配准系统,其特征在于,包括:
局部混合特征提取模块:用于对术前点云数据和术中点云数据分别提取其包含几何结构信息的局部混合特征;
全局特征提取模块:用于对上述提取的局部混合特征进行融合,得到术前点云的全局特征、术中点云的全局特征;
特征融合模块:用于将术前点云的局部混合特征、全局特征和术中点云的全局特征进行融合,得到术前点云的融合特征;同理,将术中点云的局部混合特征、全局特征和术前点云的全局特征进行融合,得到术中点云的融合特征;
重叠区域掩膜预测模块,用于对得到的术前点云的融合特征、术中点云的融合特征进行融合,得到各自的重叠区域掩膜和解码特征;
变换矩阵预测模块,用于将术前点云、术中点云的重叠区域掩膜与各自的局部混合特征相乘,并与各自的解码特征链接,得到术前点云和术中点云的空间变换矩阵;
配准模块,用于将计算得到的空间变换矩阵应用到术前点云数据上,得到术前点云数据与术中点云数据的配准结果。
3D腹腔镜肝肿瘤切除术的关键点在于如何在3D腹腔镜视野下对肝脏肿瘤进行精确定位,医学图像配准技术是解决这一问题的有效方法。配准是指将病人术前图像或者术中图像(图像空间)与病人手术区域的解剖结构(物理空间)精准对齐。医学图像配准技术采用的数据通常包括2D数据和3D数据:2D数据医学图像在一定程度上会造成患处信息的损失;而3D数据能够显示更加直观详尽的病理信息,采用3D数据进行配准,能够提高诊断和手术规划的精确度和稳定度。在3D腹腔镜肝肿瘤切除术中,进行配准的图像为术前的肝脏CT图像数据和术中腹腔镜视野下的肝脏表面数据。采用配准技术能够实现对肝脏肿瘤的精准定位,提高手术的精度和安全性。经验不足的医生借助这一技术能够对肝脏切除手术实现更安全的操作,而熟练的专业医生也能够借助这一技术提高手术的准确率,缩短手术时间,提高肿瘤切除率,降低肿瘤残留与局部复发率。
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力,推动我国自主知识产权新工业的建立,成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统,由九个研究平台,国科大深圳先进技术学院,多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究,促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
本发明还提供一种存储介质,存储有处理器可运行的程序指令,所述程序指令用于执行所述术前术中肝脏点云数据配准方法。
本申请的有益效果包括:术前和术中点云的特征利用深度学习方法自动提取,并且由局部混合特征和全局特征融合得到,局部混合特征主要关注点云的局部集合信息,而全局特征具有更广的视野,能关注到点云的整体结构,将二者结合在一起能够有效地提高点云的配准精度,避免陷入局部最优的错误状态;采用学习所得的点云重叠区域掩膜,对点云进行过滤,拒绝非重叠区域的点,将局部到局部的点云配准转换为相同形状的点云配准,能够有效提高术前肝脏点云数据和术中腹腔镜下肝脏表面点云的配准精度。
技术合作
上述较佳实施方式仅用来说明本发明,并非用来限定本发明的保护范围,任何在本发明的精神和原则范围之内,所做的任何修饰、等效替换、改进等,均应包含在本发明的权利保护范围之内。