科创中国

本发明公开了一种基于时空记忆信息的视频实例分割方法和分割装置。视频实例分割方法包括：获取视频中当前帧图像的待分割实例的查询键特征图和查询值特征图以及各幅记忆帧图像中待分割实例的记忆键特征图和记忆值特征图；计算各幅记忆帧图像中待分割实例的记忆键特征图在进行注意力匹配时的权重值；按照从大至小的顺序从所有权重值选出预定数目的权重值作为权重系数；根据各个权重系数、各个权重系数对应的记忆帧图像的记忆键特征图和记忆值特征图得到具有加权时空信息的全局特征图；根据全局特征图、查询键特征图和查询值特征图得到当前帧图像的实例分割结果。该方法可以充分利用记忆帧图像的历史信息，提高了分割结果的鲁棒性。

一种基于时空记忆信息的视频实例分割方法，其特征在于，所述视频实例分割方法包括： 获取视频中当前帧图像的待分割实例的查询键特征图和查询值特征图以及各幅记忆帧图像中所述待分割实例的记忆键特征图和记忆值特征图，其中所述记忆帧图像为视频中在所述当前帧图像之前的含有所述待分割实例的历史帧图像； 计算各幅所述记忆帧图像中所述待分割实例的记忆键特征图在进行注意力匹配时的权重值； 按照从大至小的顺序从所有权重值选出预定数目的权重值作为权重系数； 根据各个所述权重系数、各个所述权重系数对应的记忆帧图像的记忆键特征图和记忆值特征图得到具有加权时空信息的全局特征图； 根据所述全局特征图、所述查询键特征图和所述查询值特征图得到当前帧图像的实例分割结果。

1. 视频监控和安防：视频监控领域需要对视频中的目标进行准确的实例分割，以便进行目标跟踪和行为分析。基于时空记忆信息的方法可以提供更准确的实例分割结果，帮助提高视频监控和安防系统的性能。

2. 自动驾驶和智能交通：在自动驾驶和智能交通领域，需要对视频中的车辆、行人和交通标志等进行实例分割。基于时空记忆信息的方法可以更好地捕捉车辆和行人的运动轨迹，提高实例分割的准确性和鲁棒性。

3. 医学影像分析：在医学影像分析中，需要对视频序列中的病变区域进行准确的分割。基于时空记忆信息的方法可以利用视频序列中的时间关系，提供更准确的病变区域分割结果，帮助医生进行疾病诊断和治疗。

4. 视频编辑和特效制作：在视频编辑和特效制作领域，需要对视频序列中的特定目标进行分割，以便进行后续的编辑和特效处理。基于时空记忆信息的方法可以提供更准确的目标分割结果，帮助实现更精细的视频编辑和特效制作效果

中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生AC态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。

1. 视频监控和安防：视频监控领域需要对视频中的目标进行准确的实例分割，以便进行目标跟踪和行为分析。基于时空记忆信息的方法可以提供更准确的实例分割结果，帮助提高视频监控和安防系统的性能。

2. 自动驾驶和智能交通：在自动驾驶和智能交通领域，需要对视频中的车辆、行人和交通标志等进行实例分割。基于时空记忆信息的方法可以更好地捕捉车辆和行人的运动轨迹，提高实例分割的准确性和鲁棒性。

3. 医学影像分析：在医学影像分析中，需要对视频序列中的病变区域进行准确的分割。基于时空记忆信息的方法可以利用视频序列中的时间关系，提供更准确的病变区域分割结果，帮助医生进行疾病诊断和治疗。

4. 视频编辑和特效制作：在视频编辑和特效制作领域，需要对视频序列中的特定目标进行分割，以便进行后续的编辑和特效处理。基于时空记忆信息的方法可以提供更准确的目标分割结果，帮助实现更精细的视频编辑和特效制作效果

技术转让

基于时空记忆信息的视频实例分割方法具有广泛的应用前景，可以应用于视频监控和安防、自动驾驶和智能交通、医学影像分析、视频编辑和特效制作等多个领域，提高实例分割的准确性和鲁棒性。