成果介绍
本发明公开了一种基于动态视觉传感和神经网络的障碍物目标跟踪方法。该方法包括:针对目标区域,获取无人机飞行视角下的APS视频数据和EVS事件流,其中EVS事件流数据包含像素坐标、时间戳和极性;将所述EVS事件流输入到脉冲神经网络,获得第一目标检测结果;基于所述APS视频数据和第一目标检测结果,利用多目标跟踪模型,获得多目标跟踪结果,所述多目标跟踪结果包含障碍物类别、边界框和运动轨迹;基于所述多目标跟踪结果和无人机的实时飞行参数设置避障策略。本发明提升了无人机作业效率和飞行安全性。
成果亮点
一种基于动态视觉传感和神经网络的障碍物目标跟踪方法,包括以下步骤:
针对目标区域,获取无人机飞行视角下的APS视频数据和EVS事件流,其中EVS事件流数据包含像素坐标、时间戳和极性;
将所述EVS事件流输入到脉冲神经网络,获得第一目标检测结果;
基于所述APS视频数据和第一目标检测结果,利用多目标跟踪模型,获得多目标跟踪结果,所述多目标跟踪结果包含障碍物类别、边界框和运动轨迹;
基于所述多目标跟踪结果和无人机的实时飞行参数设置避障策略。
团队介绍
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力,推动我国自主知识产权新工业的建立,成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统,由九个研究平台,国科大深圳先进技术学院,多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究,促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
成果资料
产业化落地方案