科创中国

本成果是由以AI技术为主体，集环境感知、动态决策与规划、行为控制与执行等多种功能于一体的综合智能控制系统（机器人），该系统由大数据平台，电商网络，人机交互应用系统组成，可应用于智能家居与生活，社区服务、咨询引导、智能医疗、儿童互动教育等领域。本成果的总体目标是，设计拥有语音情感识别、自然语言理解、语音合成、声源检测、视觉检测与人脸识别、物体识别、自定位与导航、底盘运动规划、物品运输等功能的机器人，该机器人具备了通过自然语言从人类获取命令并执行的能力，可使用知识图谱等技术实现机器对话的规划与推理，手眼协调手臂运动控制，最终研发一款智能化、集成度高的通用自主机器人系统。其中技术亮点主要在情感识别方面，通过人工智能技术和物理学等基础学科的深度交叉融合，从复杂性和多模态视角探索跨介质下的情感表达方法，有助于突破机器人的情感生成研究瓶颈，提升在跨媒介、多模态信息化范畴内的情感识别准确率和泛化能力，实现适用于机器人应用场景的富有情感表现力的人机交互。

（1）采用严格专业的数据纳入与排除标准，严格控制实验流程以获取大规模、跨物理介质、高质量的语音数据，建立跨物理介质多模态情感语料库，为更多的学者从事相关研究提供数据基础。（2）针对特征组合的选择问题，在语音、表情、文本等模态中，提出物理波动方程与深度学习融合的高可理解性的情感特征表示方法，融合物理介质的参数特征提取有效情感表达区域。并协同训练集、验证集、测试集给出特征组合的评价，在运算效率和特征子集质量之间寻找到一个好的平衡点。（3）针对情感识别问题，结合多元情感特征，以决策层融合为主，特征层融合为辅，重点设计稳定高精度的、代价较低的、可信的、具备泛化能力的多模态情感感知与推理表达模型。（4）针对人机交互流畅度问题，提出基于通用知识图谱的情感理解方案和对话系统，设计对抗生成网络模型，以生成多模态的富有高表现力的机器人语音和表情。（5）针对硬件机器人设备的开发，机器人的研究涉及计算机视觉、模式识别、传感器技术及多传感器信息融合、人工智能、自动控制等诸多学科的理论和技术，集中体现了计算机技术和人工智能的最新成果。在人们生活的方方面面显示出越来越广泛的应用价值。

目前，现有的机器人都是基于轮式移动平台和平板交互集成的语音和视觉交互机器人。但这些服务机器人基本上都无法主动识别人类情绪并提供情感交互，在复杂的环境下交互能力不足且交互缺乏针对性，而机器人的成功在很大程度上取决于机器人能否与用户的自然舒适地互动。因此本机器人应用多模态情感识别技术在服务机器人中具有潜在的应用前景，主要表现在：识别消费者表情，反馈消费者喜好，智能推荐广告，甄别潜在消费者，提供人机情感交互，实现精准营销。基于此，本课题对商场服务机器人表情识别技术的研发，能够提升和优化机器人的人机交互能力，为消费者提供一个全新的消费体验。

表情识别技术除了应用在商用服务机器人上，还有其他应用场景，例如：金融信贷（分析情绪变化以此提供可靠的风险判断）、自动驾驶（疲劳驾驶检测）、智能家居（提供人性化交互）、广告媒体（捕捉视频播放时人们的情感变化和兴趣程度帮助对正片进行修正与对市场的预判）、医疗看护（对患者的心情与感受从情感数据中进行分析，帮助医生进行判断）、游戏娱乐（获取参与者对游戏的体验程度对游戏的进程或速度等做相应的调整）、在线教育（对学生在听课过程中对授课内容理解的程度，授课过程的思想集中与学习状态进行分析）等领域，所以对人脸表情技术的研究有广阔的应用前景和商业价值。

科技成果负责人：贾宁副教授，现任中国高校创新创业教育研究中心专家、中国计算机学会语音对话与听觉专委会委员、中文信息学会情感计算专业委员会委员、辽宁省“百千万人才工程”万层次人才、中国自动化学会科普百人团专家、大连市青年科技之星、东软教育科技集团职业教育专家，大连东软信息学院优秀教师。核心成员1：郑纯军，教授，现任大连东软信息学院软件学院副院长，大数据科学系主任，数据科学与大数据技术专业、人工智能专业负责人。现任大连大数据协会专家委员会委员，CCF大连分部执行委员，中国中文信息学会情感计算专业委员会委员，曾获辽宁省民办教育优秀教师，大连市创业导师，大连东软信息学院优秀教师，大连东软信息学院金牌指导教师。核心成员2：周伊佳，副教授，大连理工大学数学专业博士学位，近年来从事统计数据分析、矩阵分解及鲁棒优化方面的研究。辽宁省“百千万人才工程”万层次人才。核心成员3：褚娜，博士，副教授，现任大数据科学系副主任。研究方向：数据挖掘、机器学习。

（1）基于多元化的机器人情感表达与交互平台，为跨媒体分析推理和自主智能协同控制提供支持，促进我国人工智能关键技术在机器人领域的发展。

（2）与企业合作人机交互等相关项目研发，塑造精确的感知情感表达，提升人机交互场景的呈现力，利用多平台的媒体数据互化提升情感表达的社会性，丰富新媒体情感表现形式，使其以更有效的方式和更低的代价对人机交互场景中的情感对话进行推广应用。

（3）基于人工智能领域与物理学科的交叉融合，变革科研数据的搜集方式，从海量的多模态数据中高效获取情感表达的隐藏因果关系，从而反哺物理学等基础学科的数据分析效率。

（4）重点突破真实自然交互环境中的情感识别鲁棒性、情感语音合成表现力和理解力等问题，分析模型，推进情感表达在智能机器人、智能汽车、智能家居、疾病治疗、心理辅助医疗等领域中的应用与发展。

本成果将采用技术合作的方式开展第二期合作研发，目前，本成果已经完成3项发明专利和1项实用新型专利的申请，后期将继续开展成果专利的申请，并申请成果鉴定与成果转化。目前本成果应用范围普适化，希望能将本成果应用场景具象化，采集大量同领域场景中的信息，在某领域中定制机器人外观，实现更流畅的人机交互，从而提供更为专业的服务。