科创中国

物理

本发明涉及一种基于时空解耦注意力机制的视频目标分割方法，该方法将当前待检测视频段、当前帧的前一帧、包含前一帧在内的之前的记忆视频段输入训练好的视频目标分割模型，获得当前待检测视频段的预测遮罩，完成当前待检测视频段中的目标分割；所述视频目标分割模型对输入的当前待检测视频段、当前帧的前一帧、包含前一帧在内的之前的记忆视频段，采用时空解耦注意力机制，进行时间和空间两个维度的并行相似度计算，同时获取目标的时间特征和空间特征，继而得到融合特征，基于融合特征获得当前待检测视频段的预测遮罩，实现目标分割。所述方法能够对输入的分段化超声视频段，自动获取病灶的遮罩，能够提升超声视频病灶自动检测速度和精度。

权利要求 1.一种基于时空解耦注意力机制的视频目标分割方法，其特征在于，所述方法如下： 将当前待检测视频段、当前帧的前一帧、包含前一帧在内的之前的记忆视频段输入训练好的视频目标分割模型，获得当前待检测视频段的预测遮罩，完成当前待检测视频段中的目标分割； 所述视频目标分割模型对输入的当前待检测视频段、当前帧的前一帧、包含前一帧在内的之前的记忆视频段，采用时空解耦注意力机制，进行时间和空间两个维度的并行相似度计算，同时获取目标的时间特征和空间特征，继而得到融合特征，基于融合特征获得当前待检测视频段的预测遮罩，实现目标分割。 2.根据权利要求1所述的方法，其特征在于： 视频目标分割模型包括编码器、VQVAE模块、时间注意力模块、空间注意力模块、解码器；其中： 编码器，用于获取当前待检测视频段的键特征图(key)和值特征图(value)、当前帧的前一帧的键特征图和值特征图、包含前一帧在内的之前的记忆视频段键特征图和值特征图；

中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。

点击查看