您所在的位置: 成果库 多模态极类人自主情感交互机器人

多模态极类人自主情感交互机器人

发布时间: 2023-10-23

来源: 试点城市(园区)

基本信息

合作方式: 技术咨询
成果类型: 发明专利
行业领域:
高端装备制造产业
成果介绍
本团队在传统的基于语音交互功能的服务机器人基础上,通过结合机械设计、神经网络、多模态传感器等技术,设计并制作一款具有极类人外观,能模仿人的动作和表情,并与人类进行语音和动作交互的多模态极类人自主情感交互机器人平台。该系统能通过声音、动作、情感等方式,按照一定的社会行为规则与其他自主体进行拟人化的自然互动和交流,可应用于心理诊所、医院和家庭看护等领域,起心理辅助治疗、情感陪伴、老人陪护等作用。
成果亮点
该机器人拥有以下技术优势: (1)眼球运动原理与实现技术、嘴巴张合原理与实现技术、脖子点头原理与实现技术、脖子旋转原理与实现技术、多自由度机械臂原理与实现技术、语言交互功能原理与实现技术; (2)加入自主情感交互系统是本机器人的一大创新点,该交互系统通过卷积神经网络CNN训练得到的表情识别模型,来判断用户的情感状态,而后类人机器人根据用户的情感状态和用户进行交互; 机器人环境理解系统的原理与实现技术,采用基于SSD目标识别神经网络的配合RGBD深度摄像头对环境物体进行识别和定位,并获取深度信息,完成抓取水杯等任务。
团队介绍
自动化科学与工程学院成立于2002年1月,其前身为1958年原华南工学院自动控制专业。学院设有3个系(控制与信息工程系、自动化与网络工程系、智能科学与技术系),3个中心(自动化教学实验中心、控制与优化中心、脑机接口与脑信息处理研究中心),1个系统工程研究所。6个省部及市级科研基地(自主系统与网络控制教育部重点实验室、精密电子制造装备教育部工程研究中心、广东省智能系统控制工程技术研究中心、广东省无人机系统工程技术研究中心、广东省高端芯片智能封测装备工程实验室、广州市脑机交互关键技术及应用重点实验室),1个国家级实验教学中心(电气信息及控制国家级实验教学示范中心(3个学院共建)),5个联合实验室(智能人机交互联合实验室,人工智能与数字农业联合实验室,智慧渔业校企联合实验室,“华南理工大学―易和医疗”智慧医疗联合实验室,华南理工大学-科大讯飞脑机协同混合智能技术及应用联合实验室)。
成果资料