科创中国

本发明涉及医学图像处理技术领域，特别涉及一种消化内镜视觉重建导航系统及方法，该系统包括数据采集模块、地图构建模块和路径规划模块；数据采集模块用于采集虚拟相机位姿数据、图像深度数据，并将采集的虚拟相机位姿数据、图像深度数据发送至地图构建模块；地图构建模块用于根据虚拟相机位姿数据、图像深度数据，搭建光流自监督网络、改进的残差网络；并根据光流自监督网络、改进的残差网络，分别进行相机位姿估计、深度图估计，构建环境地图；路径规划模块用于根据环境地图，提取拓扑中心线，并围绕拓扑中心线进行路径规划和导航。本发明能够解决内窥镜图像在低光照、少纹理特点下的特征点提取困难、无法准确辨别方向的问题。

权利要求 1.一种消化内镜视觉重建导航系统，其特征在于，包括：依次连接的数据采集模块、地图构建模块和路径规划模块； 所述数据采集模块用于采集虚拟相机位姿数据、图像深度数据，并将采集的虚拟相机位姿数据、图像深度数据发送至所述地图构建模块； 所述地图构建模块用于根据所述虚拟相机位姿数据、所述图像深度数据，搭建光流自监督网络、改进的残差网络；并根据所述光流自监督网络、所述改进的残差网络，分别进行相机位姿估计、深度图估计，构建环境地图； 所述路径规划模块用于根据所述环境地图，提取拓扑中心线，并围绕所述拓扑中心线进行路径规划和导航。 2.根据权利要求1所述的消化内镜视觉重建导航系统，其特征在于，所述地图构建模块包括相机位姿估计模块和深度图估计模块； 所述相机位姿估计模块用于根据所述光流自监督网络，得到估计的相机位姿； 所述深度图估计模块用于根据所述改进的残差网络，得到估计的内窥镜图像深度。 3.根据权利要求2所述的消化内镜视觉重建导航系统，其特征在于，所述地图构建模块根据估计的相机位姿、估计的内窥镜图像深度，通过三维重建构建环境地图。

结直肠癌是我国患病率最高的消化系统癌症，肠镜检查是发现恶性息肉的最佳手段，在结肠镜检查手术中，医生凭借临床经验观察内窥镜图像，同时操作结肠镜的控制手柄前进。然而，消化内镜获取的组织内部的图像区域的弱纹理、重复纹理多、场景光照变化较大。并且，相机运动还会产生运动模糊，使得图像的特征提取困难。因此，当内窥镜图像出现“无信息帧”时会丢失腔道，进而无法辨别正确方向。

中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。

本申请实施例提供的消化内镜视觉重建导航系统及方法，相较于传统的消化内镜导航方法，本申请能够全局感知内窥镜环境、视觉重建能记录内窥镜历史轨迹。而且，本申请构建的基于光流自监督的特征点网络更适应于内窥镜图像弱纹理、表面光滑等特点，能够解决内窥镜图像在低光照、少纹理特点下的特征点难以提取问题。另外，相比于有监督深度学习方法，本申请实施例为解决临床图像没有真值标签的问题搭建了数据采集模块，因此，本申请不需要位姿真值标签进行网络的训练，标签仅仅用于验证阶段计算精度指标与误差。

技术合作

上述各实施方公式是实现本申请的具体实施例，而在实际应用中，可以在形公式上和细节上对其作各种改变，而不偏离本申请的精神和范围。任何本领域技术人员，在不脱离本申请的精神和范围内，均可作各自更动与修改，因此本申请的保护范围应当以权利要求限定的范围为准。