您所在的位置: 成果库 智能机器人视觉识别芯片

智能机器人视觉识别芯片

成果类型:: 发明专利

发布时间: 2022-10-13 11:42:44

科技成果产业化落地方案
方案提交机构:“科创中国”华中科技大学智能制造专业科技服务团| 王正伦 | 2022-11-04 14:11:21
国内外已有多个SIFT硬件加速器设计发表,总体的研究方向朝着更高性能、更高帧率、更高匹配精度以及更低功耗、更低运算量、更低硬件开销的方向发展。但是对于高性能SIFT硬件加速器的设计仍存在一些共性问题和挑战。 针对这些问题,本成果提出了一系列新方法和新策略,实现了全并行的高能效SIFT硬件加速器芯片硬件架构。针对高斯金字塔构建硬件开销大的问题,提出了快慢双时钟域和部分复用策略;针对高斯金字塔构建过程中的特点丢失问题,提出了动态padding设计策略;针对交互执行及串行计算限制加速性能的问题,提出了一系列并行化的设计方案,即基于乒乓缓存实现了关键点检测和描述符生成部分的并行处理,基于像素梯度预计算实现了关键点检测和梯度幅值辅角的并行计算、以及创新性地提出了一种基于圆形关键点邻域的描述符生成算法,实现了主方向和描述符产生的高效并行计算。
本成果研发的全并行高能效SIFT硬件加速器芯片已在Xilinx Virtex UltraScale+评估板中实现。基于Mikolajczyk and Schmid标准数据集对提出的SIFT设计进行验证,基于RANSAC (RANdom SAmple Consensus)算法检查匹配点的正确性。所提SIFT设计的匹配结果优于相关工作,这主要得益于子区域重叠及padding增加鲁棒性,及优化的参数选择(如高斯卷积核尺寸、关键点邻域大小等)。与文献中相关FPGA及ASIC工作的硬件开销对比显示:该设计的硬件开销总体和现有水平相当,但通过实现了动态padding提高了鲁棒性,同时实现了100 MHz时钟下162 fps@VGA的最高帧率和49.766 M pixels/s的最高计算效率。该SIFT硬件加速器在基于180 nm CMOS工艺下实现了2.25 mJ/frame的能量效率。

视觉特征提取技术广泛应用于自主移动智能机器人、无人驾驶和无人机等场景。本成果提出了一系列新方法和新策略,实现了全并行的高能效SIFT硬件加速器芯片硬件架构。针对高斯金字塔构建硬件开销大的问题,提出了快慢双时钟域和部分复用策略;针对高斯金字塔构建过程中的特点丢失问题,提出了动态padding设计策略;针对交互执行及串行计算限制加速性能的问题,提出了一系列并行化的设计方案,即基于乒乓缓存实现了关键点检测和描述符生成部分的并行处理,基于像素梯度预计算实现了关键点检测和梯度幅值辅角的并行计算、以及创新性地提出了一种基于圆形关键点邻域的描述符生成算法,实现了主方向和描述符产生的高效并行计算。

王超,华中科技大学光电信息学院和武汉光电国家研究中心双聘研究员、博导,其所组建的低功耗与智能集成电路研究室团队,将智能机器人技术与集成电路芯片技术相结合,开拓了新型智能机器人芯片关键技术研究的交叉学科新方向,与哈尔滨工业大学机器人国家重点实验室、苏州智能机器人研究院、南洋理工大学集成电路研究中心等国内外一流团队合作,取得了一系列的重要研究进展,初步解决了机器人芯片智能化低、能量消耗大、鲁棒性不好等痛点问题。近三年来,其研究成果在TCAS-I、JETCAS、CAS-M、A-SSCC等集成电路领域国际核心期刊和国际会议上发表智能机器人芯片相关学术论文10余篇,申请国家/国际发明专利7项。其中,其课题组相关研究成果连续2年(2020/2021)在IEEE固态电路学会旗舰会议A-SSCC发表了会议文章2篇,指导本科生参加依托相关项目连续2年(2021/2022)在全国大学生集成电路创新创业大赛获得国家一等奖1次、国家二等奖4次,指导研究生依托相关项目连续3年(2020/2021/2022)在全国研究生集成电路“创芯”大赛获得国家一等奖3次、国家二等奖1次。

基于其初步研究成果,团队已与黑芝麻科技等自动驾驶头部企业合作,联合承担了武汉市科技重大专项“卡脖子”技术攻关项目,研究高鲁棒性、高能效视觉目标识别引擎电路技术,进行车规级高性能自动驾驶芯片设计关键技术的科技攻关。

技术许可、技术转让、作价入股、技术开发、技术服务、面谈等