科创中国

本发明公开了一种基于动态视觉传感和神经网络的障碍物目标跟踪方法。该方法包括：针对目标区域，获取无人机飞行视角下的APS视频数据和EVS事件流，其中EVS事件流数据包含像素坐标、时间戳和极性；将所述EVS事件流输入到脉冲神经网络，获得第一目标检测结果；基于所述APS视频数据和第一目标检测结果，利用多目标跟踪模型，获得多目标跟踪结果，所述多目标跟踪结果包含障碍物类别、边界框和运动轨迹；基于所述多目标跟踪结果和无人机的实时飞行参数设置避障策略。本发明提升了无人机作业效率和飞行安全性。

一种基于动态视觉传感和神经网络的障碍物目标跟踪方法，包括以下步骤： 针对目标区域，获取无人机飞行视角下的APS视频数据和EVS事件流，其中EVS事件流数据包含像素坐标、时间戳和极性； 将所述EVS事件流输入到脉冲神经网络，获得第一目标检测结果； 基于所述APS视频数据和第一目标检测结果，利用多目标跟踪模型，获得多目标跟踪结果，所述多目标跟踪结果包含障碍物类别、边界框和运动轨迹； 基于所述多目标跟踪结果和无人机的实时飞行参数设置避障策略。

农业机器人、传感器、5G通信、农业物联网、大数据、人工智能、云-边-端计算等新一代高技术体系的深度集成汇融正成为推动全球农业技术革新的巨大引擎。例如，农业无人机作为新兴农业机器人的代表，高度集成仿生驱动、多模传感、无线通信、边缘计算、自动控制、人工智能等前沿技术成果。

基于无人机的农业航空技术已深入贯穿作物全生长周期内的农田信息获取、农作物生长状态监测、病虫草害防治、产量预测、自然灾害评估等诸多生产环节，正逐渐成为全球农业航空产业的重要组成部分。目前精准无人机产业和农业航空技术尚不成熟，面临的主要问题包括：作业效果评价标准不统一、关键核心技术不成熟、作业安全效率无保障等。这些问题导致的直接后果是：无人机飞行安全隐患大；生产成本和作业成本居高不下；操作要求远高于农民技能水平；高精尖技术无法顺利转化成高粮食产量。如何实现农业无人机在复杂农田环境下的全自主安全高效作业是亟需解决的现实难题，最直观的解决方案是赋予农业无人机类人的智能环境感知与控制能力。

中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。

与现有技术相比，本发明的优点在于，深度融合EVS高动态范围、高帧率、低延时、低数据冗余的特点与APS高分辨率、高信息维度的特点，同时获取无人机飞行视角下农田场景的EVS和APS图像，并引入基于深度学习的多目标跟踪算法，从图像中检测出障碍物目标并持续稳定跟踪，进而基于障碍物固有属性，制定合理避障策略。本发明通过引入高性能图像传感器和先进的人工智能算法，赋予无人机一定的自主环境感知和避障能力，一方面提升无人机在复杂环境中的飞行安全性和作业效率，另一方面也对农田重要地物进行保护。本发明创新性地将高性能视觉传感、人工智能和农业无人机结合在一起，充分发挥各自的优势，使得所设计的障碍物视觉目标跟踪算法能够在无人机机载处理器上的边缘部署，以赋予无人机在非结构农田环境下的安全高效自主飞行能力。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

技术合作

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。