您所在的位置: 成果库 基于增强现实-触觉感知的混合交互接口与人机互补操作算法

基于增强现实-触觉感知的混合交互接口与人机互补操作算法

成果类型:: 新技术

发布时间: 2023-11-03 17:49:17

科技成果产业化落地方案
方案提交机构:成果发布人| 欧阳文慧 | 2023-11-03 17:49:17

协作机器人与人类共享工作空间,通过直接或间接地与人类交互共同开展操作任务。随着传统工业机器人带来的效率提升趋于饱和,能够安全配合人类的协作机器人能够进一步提高制造业的生产效率,带来可观的经济效益。然而,现有的协作机器人存在以下两大痛点问题:一是安全和效率之间的权衡,二是如何提高人的示教效率。本项成果基于增强现实-触觉感知技术,开发了混合交互接口与人机互补操作算法,以解决上述痛点问题。1、提出了自适应视觉控制与零空间阻尼控制的协作框架:在有限视场、未校正相机、关节奇异的情况下,保证了机器人在整个工作空间内的全局稳定性;在不影响机器人末端任务的前提下,允许人类专家随时、安全地介入以改变机器人关节姿态,以应对环境动态变化或突发事件,从而实现了安全与效率并重的人机协作方式。2、构建了增强现实-触觉感知的混合接口,让人类专家可以在任务和冗余联合空间进行双手演示,同时记录机器人末端与机器人关节的数据。示教轨迹基于DMP方法进行参数化,能够根据不同任务所需的末端位置、关节角度、运动速度进行自适应调整,在保证末端任务精度的同时完成关节的避障任务。

1、技术核心:

①基于增强现实-触觉感知的混合交互接口;

②用于双手示教的机器人轨迹学习方法;

③自适应全局稳定控制算法。

2、竞争优势

目前,国内外制造工厂采用的人机交互接口多为示教器、摇杆、键盘和鼠标等。这类交互设备虽然成本低、可靠性高,但是示教效率不足,对操作者的熟练程度要求较高;此外,当前工业界通常采用暂停机器人任务以配合工人介入,失去灵活性的同时也极大地影响了机器人的工作效率。

本项成果以增强现实-触觉感知的混合人机接口为基础,开发了更为自然与本能的示教方式,同时开发了互补型人机协同方式,兼顾了人机交互安全与机器人工作效率,与同类技术有较大区分度。

基于增强现实的人机交互接口,从2012年开始已有相关学术研究;本项成果解决了通过融合增强现实与触觉感知技术,解决了工业界的痛点问题,推动了技术的实际应用与转化。

本项成果基于增强现实-触觉感知技术,开发了混合交互接口与人机互补操作算法,提供了一个“专家远程示教-机器人现场互动”的解决方案,可以广泛应用于操作物体敏感(化工品生产)、工作环境敏感(食品加工、药物制造)或人类交互频繁(3C行业、平板显示屏工厂)等众多生产制造场景。基于增强现实-触觉感知混合接口的人机互补协作框架,有望降低工人危险、提升工厂生产效率,具有较高的市场前景。

本项目团队的技术负责人为清华大学自动化系副教授李翔,在人机智能交互和机器人智能操作方向上积累了多年的研究经验,同时积极推动技术转化与落地。

一些相关的机器人应用成果包括:搭建了首台视觉反馈3C机器人,实现了面向柔性工件的全流程自主装配,具有亚毫米级别的操作精度;开发了多功能室内装修机器人与全自主打磨机器人,系统地解决了相关行业中因人工作业造成的劳动强度较高、专业人才缺乏、安全隐患众多等痛点;设计了面向下肢康复机器人的智能交互算法,根据患者背景、运动意图、交互语义等信息,通过大数据自主学习定制机器人运动轨迹,实现了更为细致、贴合、个性化的康复训练策略,部署于下肢外骨骼机器人产品,临床试验结果证明比同类产品具有更优越的穿戴效果。先后承担科技创新2030-“脑科学与类脑研究”重大项目、国家自然科学基金-联合基金重点项目、国家自然科学基金-青年基金项目、深圳科创委-基础研究重点项目、香港创新科技署项目等十余项科研项目。已获两项美国临时专利(排名第一)及一项中国发明专利,共发表SCI期刊论文19篇,其中第一作者的论文14篇。

人工智能与实体经济的结合越来越多,与应用场景的深度结合将产生更大的商业价值近几年,人工智能语音语言技术在各行业的应用已十分广泛,下游领域包括家电、汽车、消费电子、金融、物流、房产、政务、医疗等。

2021年我国对话式人机交互核心产品的市场规模达到91.50亿元,带动相关产业经济规模达742.6亿元,2022年智能语音语言技术在各垂直行业应用的核心产品规模达到 28.8亿元,带动相关产业规模达943.4亿元,预计2025年核心产品规模达到237亿元,带动相关产业规模达到1525 亿元。该成果实现产业化应用后的预期效益十分显著。

1、拟转化方式:技术转让、技术许可、作价入股、合作开发、技术服务等。

2、合作需求:

1) 资金需求:本项成果开发的人机互补协作平台,在硬件与软件研发阶段需要资金投入,需约250-500万元人民币;

2) 孵化资源:公司研发所需办公及研发场地、实验室、分析与测试实验室等;

3) 团队:协作平台开发团队、商务开发与合作团队、财务、法务等支持团队;

4) 生产制造企业合作:提供人机协同操作的场景与需求,开展工厂真实环境的测试与部署;

5) 基础研究合作:与协作机器人、增强现实、触觉感知方向的国内外基础研究团队合作,开发新的交互设备与算法。