科创中国

本发明涉及一种标定板角点对齐的点云与图像配准方法,包括将可见光摄像机与激光雷达同位放置,采集放置于不同预设位置处的标定板的场景数据,获取标定板的多组图像数据与点云数据;检测图像数据的标定板角点,根据标定板角点与预设棋盘格端点的相对距离,获取标定板4个角点的2D像素坐标;从点云数据中分割出标定板点云后,投影至统一平面内,再投影到yoz平面;根据雷达线扫原理,设定分类条件,将标定板点云坐标分割成多个聚类区域;根据每个聚类区域中距离横坐标中心最远的点和距离该点最远的另一点,获取4个边缘点,拟合成4个边缘线;计算边缘线的交点,获取3D点云坐标,从而与2D像素坐标,利用EPnP与RANSAC,获取最优变换矩阵,完成点云与图像配准.

本发明所要解决的技术问题在于克服现有技术中对点云与图像的配准标定效率低，特征匹配复杂，配准精度差的问题。为解决上述技术问题，本发明提供了一种基于标定板角点的点云与图像配准方法，包括：将可见光摄像机与激光雷达同位放置，采集放置于不同预设位置处的标定板的场景数据，获取标定板的多组图像数据与点云数据；利用Harris算法检测所述图像数据的标定板角点，根据标定板角点与棋盘格端点的相对距离，获取标定板4个角点的2D像素坐标；利用直通滤波，从所述点云数据中分割出标定板点云；

本发明涉及点云与图像配准技术领域，尤其是指一种基于标定板角点对齐的点云与图像配准方法及设备。

背景技术

以自动驾驶应用领域为代表的环境感知与理解技术发展迅速，在面对复杂多变的场景时，利用多源光学数据融合能够弥补单一源光学数据在信息表达上不足，提高车辆运行过程中的可靠性和安全性。其中，传感器一般以视频摄像机和激光雷达为主，关键任务是设计多传感器的配准方法，尽可能地保持同一目标在不同数据形式上的对齐。这样不仅有助于建立统一的多源数据表示空间，同时也能简化数据融合过程。

视频传感器与雷达传感器之间的信息匹配是多模态数据融合需要解决的普遍问题。通过一定的技术手段将各传感的多源数据统一于同一空间基准，才能更准确、更有效地实现对关键要素的分割和定位。空间基准的统一可以通过标定技术确定各个传感器的相对位置关系，从而根据高精度地图中的初始坐标推算出各个传感器在特定坐标系统中的确切位置。在自动驾驶任务中，数据的标定往往和定位系统结合起来，成为一个“手眼标定”任务。

Bender等人利用传感器安装位置信息和探测灵敏度信息，以可见光图像和点云深度图像为“眼”，以大地坐标系为基础的惯性导航系统为“手”，进行数据标定。Ishikawa等人将数据标定拓展至与任何定位系统形成“手眼标定”任务，对多视角的可见光图像进行特征匹配，对激光雷达采用多帧匹配，实现数据标定。数据标定后因测量误差、安装误差和扰动误差等多种原因，多源光学数据之间仍存在偏移，需要通过配准进一步调整。但多源光学数据的异构性导致同质特征点难以寻找，神经网络的兴起很好地解决了此问题，而此类模型需要强监督对海量参数进行训练，限制了其应用发展。

目前在实际应用领域中比较常用的视频与雷达数据融合方法多基于决策级融合，即对配准精度的要求不高。而决策级融合往往需要良好的决策机制来取舍不同的检测结果。随着特征级、像素级融合的兴起，数据配准成为融合的首要前提。现有方法主要包括同位标定和特征匹配：前者根据固定传感器的位置关系进行标定，标定精度要求较高；后者通过查找两类数据中对应的同名特征点，构建变换矩阵实现配准，需要设计比较精确的特征匹配算法。

综上，现有的视频与雷达数据融合方法标定效率低，特征匹配复杂，配准精度差。

发明内容

为此，本发明所要解决的技术问题在于克服现有技术中对点云与图像的配准标定效率低，特征匹配复杂，配准精度差的问题。

发明人：吴澄 叶陆琴 盛洁 汪一鸣 陈一豪 王庆亮 梅震琨 何印苏州大学坐落于素有“人间天堂”之称的历史文化名城苏州，是国家“211工程”“2011计划”首批入列高校，是教育部与江苏省人民政府共建“双一流”建设高校、国家航天局共建高校，是江苏省属重点综合性大学。苏州大学前身是Soochow University（东吴大学，1900年创办），开现代高等教育之先河，融中西文化之菁华，是中国最早以现代大学学科体系举办的大学。在中国高等教育史上，东吴大学是最早开展研究生教育并授予硕士学位、最先开展法学（英美法）专业教育，也是第一家创办学报的大学。1952年中国大陆院系调整，由东吴大学之文理学院、苏南文化教育学院、江南大学之数理系合并组建苏南师范学院，同年更名为江苏师范学院。1982年，学校更复名苏州大学（Soochow University）。

本发明的上述技术方案相比现有技术具有以下优点：

本发明所述的标定板角点对齐的点云与图像配准方法，在可见光图像和雷达点云中，提取可靠的标定板角点，实现视频和雷达空间的配准；利用激光雷达的线扫特性，根据高度阈值聚类来划分标定板点云，通过聚类区域拟合出的边缘点，计算出标定板的3D点云坐标，简单便捷且坐标准确；根据已知标定板与棋盘格尺寸及相对关系，获取标定板的2D像素坐标，更好地与点云坐标的一一对应；获取3D点云坐标与2D像素坐标之后，利用EPnP与RANSAC结合，获取点云坐标向像素坐标转换的变换矩阵，从而实现点云与图像的配准，实现简单，不需要精确的配准算法，配准精度高，具有较高的稳健性与适用性。

当前专利在中国不属于公知技术，未经权利人许可不得实施，希望将科技成果转让给研发实力雄厚的企业，由受让人对科技成果实施转化。交易的是科技成果中的知识产权，可以包括专利权、专利申请权、技术秘密等。科技成果转让后，转让方获得转让费，不再是科技成果的所有人；受让方向转让方支付转让费，并成为科技成果的新的所有人。