科创中国

新一代信息技术产业

本成果是由以AI技术为主体，集环境感知、动态决策与规划、行为控制与执行等多种功能于一体的综合智能控制系统（机器人），该系统由大数据平台，电商网络，人机交互应用系统组成，可应用于智能家居与生活，社区服务、咨询引导、智能医疗、儿童互动教育等领域。 本成果的总体目标是，设计拥有语音情感识别、自然语言理解、语音合成、声源检测、视觉检测与人脸识别、物体识别、自定位与导航、底盘运动规划、物品运输等功能的机器人，该机器人具备了通过自然语言从人类获取命令并执行的能力，可使用知识图谱等技术实现机器对话的规划与推理，手眼协调手臂运动控制，最终研发一款智能化、集成度高的通用自主机器人系统。 其中技术亮点主要在情感识别方面，通过人工智能技术和物理学等基础学科的深度交叉融合，从复杂性和多模态视角探索跨介质下的情感表达方法，有助于突破机器人的情感生成研究瓶颈，提升在跨媒介、多模态信息化范畴内的情感识别准确率和泛化能力，实现适用于机器人应用场景的富有情感表现力的人机交互。

（1）采用严格专业的数据纳入与排除标准，严格控制实验流程以获取大规模、跨物理介质、高质量的语音数据，建立跨物理介质多模态情感语料库，为更多的学者从事相关研究提供数据基础。 （2）针对特征组合的选择问题，在语音、表情、文本等模态中，提出物理波动方程与深度学习融合的高可理解性的情感特征表示方法，融合物理介质的参数特征提取有效情感表达区域。并协同训练集、验证集、测试集给出特征组合的评价，在运算效率和特征子集质量之间寻找到一个好的平衡点。 （3）针对情感识别问题，结合多元情感特征，以决策层融合为主，特征层融合为辅，重点设计稳定高精度的、代价较低的、可信的、具备泛化能力的多模态情感感知与推理表达模型。 （4）针对人机交互流畅度问题，提出基于通用知识图谱的情感理解方案和对话系统，设计对抗生成网络模型，以生成多模态的富有高表现力的机器人语音和表情。 （5）针对硬件机器人设备的开发，机器人的研究涉及计算机视觉、模式识别、传感器技术及多传感器信息融合、人工智能、自动控制等诸多学科的理论和技术，集中体现了计算机技术和人工智能的最新成果。在人们生活的方方面面显示出越来越广泛的应用价值。

科技成果负责人：贾宁副教授，现任中国高校创新创业教育研究中心专家、中国计算机学会语音对话与听觉专委会委员、中文信息学会情感计算专业委员会委员、辽宁省“百千万人才工程”万层次人才、中国自动化学会科普百人团专家、大连市青年科技之星、东软教育科技集团职业教育专家，大连东软信息学院优秀教师。 核心成员1：郑纯军，教授，现任大连东软信息学院软件学院副院长，大数据科学系主任，数据科学与大数据技术专业、人工智能专业负责人。现任大连大数据协会专家委员会委员，CCF大连分部执行委员，中国中文信息学会情感计算专业委员会委员，曾获辽宁省民办教育优秀教师，大连市创业导师，大连东软信息学院优秀教师，大连东软信息学院金牌指导教师。 核心成员2：周伊佳，副教授，大连理工大学数学专业博士学位，近年来从事统计数据分析、矩阵分解及鲁棒优化方面的研究。辽宁省“百千万人才工程”万层次人才。 核心成员3：褚娜，博士，副教授，现任大数据科学系副主任。研究方向：数据挖掘、机器学习。

点击查看