科创中国

电子信息技术

本发明公开了单目相机与毫米波雷达融合的物体识别与定位方法和系统，属于多传感器融合技术领域。方法包括以下步骤：步骤一：传感器数据采集与帧同步；1a. 毫米波雷达与单目相机数据采集；1b. 基于帧同步的数据序列匹配；步骤二：基于神经网络处理图像识别物体与边界；2a. 提前训练基于Mask-RCNN的实例分割神经网络；2b. 利用神经网络完成物体识别和图像实例分割；步骤三：坐标系转换与数据融合；3a. 已知传感器间外参，雷达点云转换至图像坐标系；3b. 基于实例分割结果，完成物体匹配信息融合；3c. 在三维坐标系下展示物体类别与物体空间位置。本发明更加稳定，能克服恶劣天气对数据采集的影响。

一，选用了单目相机与毫米波雷达的组合进行数据融合，系统成本具有优势。单目相机的距离探测能力与抗恶劣天气能力较弱，这两点均可由毫米波雷达进行弥补。二，选用了个性化训练后的神经网络用于图像实例分割，针对场景选择不同的数据集训练出的卷积神经网络能更快速更精确地识别出特定种类地物体，在有限的计算资源下达到更好的效果。三、选择可以输出物体像素轮廓的实例分割神经网络，坐标转换后得到物体三维投影轮廓，有利于增加物体的定位精度，克服毫米波雷达点云稀疏不稳定的缺点。四，采用帧同步方法对雷达点云序列与图像序列进行匹配，在传感器帧率不一致的情况下依然能够匹配到最接近的场景数据。

浙江大学机器人研究院（以下简称“研究院）是为了贯彻落实浙江省委省政府关于推进工业转型升级的战略部署，在余姚市的大力推动下，于2017年由浙江大学和余姚市合作共建的新型研发机构。 研究院面向科技前沿、面向经济发展主战场，将机器人、智能装备研发及产业化作为主要突破方向；立足余姚、服务浙江、面向全国。以“合作、创新、智能、引领”为理念，以体制机制创新为抓手，以科技研发、成果转化和人才培育为核心，着力构建技术-人才-产业深度融合的创新创业生态；努力建成为国内一流的机器人领域政、产、学、研、用深度融通的新高地。