本发明公开了一种移动作业机器人的实时动态安全防护方法。该方法包括:获取包含机器人的三维点云,并将所述三维点云映射为二维图像;将所述二维图像输入到预训练的神经网络模型进行语义分割,以识别出机器人本体数据;将所述机器人本体数据投影到点云,得到三维场景中机器人的实时位姿信息;以机器人机身的设定节点为参考,基于所述实时位姿信息构造三维动态包围盒,得到不同防护等级区域的空间包围盒;针对所述空间包围盒,计算侵入体与机器人之间的相对位置,进而确定机器人的防护等级以及对应的防护措施。本发明基于三维视觉信息进行机器人与侵入体的实时运动识别,从而提供异常、碰撞预警方案。
权利要求
1.一种移动作业机器人的实时动态安全防护方法,包括以下步骤:
获取包含机器人的三维点云,并将所述三维点云映射为二维图像;
将所述二维图像输入到预训练的神经网络模型进行语义分割,以识别出机器人本体数据;
将所述机器人本体数据投影到点云,得到三维场景中机器人的实时位姿信息;
以机器人机身的设定节点为参考,基于所述实时位姿信息构造三维动态包围盒,得到不同防护等级区域的空间包围盒,所述空间包围盒用于反映侵入体到所述设定节点之间的距离与防护等级之间的对应关系;
针对所述空间包围盒,计算侵入体与机器人之间的相对位置,进而确定机器人的防护等级以及对应的防护措施。
2.根据权利要求1所述的方法,其特征在于,所述神经网络模型是U-Net网络,以ResNet18作为骨干网络并采用线性整流函数作为激活函数。
3.根据权利要求1所述的方法,其特征在于,训练所述神经网络模型的损失函数设置为:
其中,yi表示样本i的标签,正类为1,负类为0,N表示样本数量,pi表示样本i预测为正类的概率。
随着服务机器人、工业机器人等进入到日常生产生活,人们对机器人安全问题的关注也与日剧增。解决机器人的安全防护问题、实现安全的作业环境,具有重要的现实意义。
传统工业机器人安全防护手段以“安全笼”、栅栏、光幕为主,占据空间大、成本高、灵活性差。2010年之后出现利用机器视觉相关技术实现自动报警、远程监控、智能处理等功能,提高了安全防护等级。近几年,随着传感器技术被引入到机器人安全交互中,采用单一或者多种传感器的部件收集信息,机器人识别周围的情况,进行轨迹规划和自动避障,来实现机器人安全控制。例如国内的JAKA机器人公司提出了一种基于广角摄像头的视觉防护系统,将摄像头置于机器人工作区域上方对工作空间场景进行监控。重庆大学自动化学院采用CCD鱼眼相机代替普通相机采集监控区域的图像信号,以增加视场范围,但这两种方法主要基于二维感知信息,并不能获取场景三维全景信息,存在信息维度不全的问题,并且这两种方案只能预先在软件中设置禁区,系统运行之后不能根据机器人的状态实时动态地调整禁区,无法解决移动型机器人的防护问题。
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力,推动我国自主知识产权新工业的建立,成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统,由九个研究平台,国科大深圳先进技术学院,多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究,促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
与现有技术相比,本发明的优点在于,所提出的面向移动机器人的安全动态防护方法可以在三维空间建立起实时、动态的安全防护立体区域,从而实现三维层面的机器人安全区域实时动态设定、侵入体识别以及安全预警等。本发明填补了目前移动机器人安全作业防护手段的空白,尤其适用于机器人临时改变行进路线或执行动作等突发的、临时的作业任务状态,可以实时动态地反馈机器人状态,快速形成新的安全防护区域。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
技术合作
在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。