您所在的位置: 成果库 一种音视频多模态情感分类方法及系统

一种音视频多模态情感分类方法及系统

发布时间: 2023-08-22

来源: 科技服务团

基本信息

合作方式: 技术转让
成果类型: 发明专利
行业领域:
新一代信息技术产业,人工智能
成果介绍
1、通过传感器采集人的基础步态信息,位置、速度、方向、步距、接触区域等 2、通过使用神经网络对步态信息进行处理和标注,得到情感计算模型 3、将情感计算模型进行环境部署。
成果亮点
针对智能家居环境下隐私友好的步态数据, 提出一种数据采集与情绪识别方法, 通过电容传感器地板采集用户行走数据, 形成家居环境下的用户步态数据集; 根据采集的数据集提取 18 维步态特征进行用户情绪识别实验; 在 GRU_FCN 模型基础上, 对卷积层和输出层进行修改优化, 并提出 GRU_FCNPlus 模型; 对比 7 种常用模型算法, 研究结果表明, GRU_FCNPlus 模型在 4 分类情绪识别任务中准确率比现有方法提高约 5%. 该方法可采集分析用户的情绪状态、身体状况、行为习惯等, 在智能家居环境下的智能感知、人屋交互、用户体验等方面均有非常广阔的应用前景。
团队介绍
付心仪博士于2018年在清华大学美术学院获设计学博士学位,2012年于清华大学计算机科学技术系获学士学位。她曾是清华大学美术学院博士后(2018-2022),现任清华大学未来实验室助理研究员。她的主要研究方向是自然人机交互、情感计算、文化遗产数字化等。 她负责或参与多项国家级或企业联合研究课题,例如:5G+AR、VR技术的科幻产业高质量发展路径研究(北京市发展和改革委员会项目)、面向未来个性化人居的智慧空间建构及设计研究(丰田联合研究基金)、丝路文物数字化快捷采集方法及面向极端复杂环境的装备研发(国家重点研发计划)、VR内容的生成与设计(国家重点研发计划)、人居场景下的多模态情感计算理论与方法研究(清华大学自主科研计划)、实体交互教育认知工具的设计理论与方法研究(清华大学自主科研计划)、雕塑、壁画类文化遗产的虚拟复原 (国家重点基础研究发展计划-973计划)、基于知识学习的文物色彩复原数字化理论与方法研究 (国家自然科学基金面上项目)、基于图像的数字化动漫造型理论与方法研究 (国家自然科学基金面上项目)、虚拟现实购物的交互设计研究(清华大学-阿里巴巴自然交互体验联合实验室项目)等。
成果资料
产业化落地方案
点击查看
成果综合评价报告

评价单位:“科创中国”机器视觉与智能产业科技服务团 (中国图象图形学学会) 评价时间:2023-09-07

姚鸿勋

哈尔滨工业大学

教授

综合评价

该项成果属于自主创新设计,从采集方式到识别方法,创新独立且简便易行。通过电容传感器地板采集用户行走数据,可采集到家居环境下用户步态反映情绪的真实状态数据集,改进的 GRU_FCNPlus 模型,在4分类情绪识别任务中准确率可提高约5%。 该成果产品化商业化可用于采集分析用户的情绪状态、身体状况、行为习惯等, 在智能家居环境下的智能感知等用户体验方面有积极的意义。 该项成果属于自主创新设计,但还处于实验室阶段,规模小。 团队新兴,但无论申请者个人还是团队,其成熟度和磨合度尚不足。
查看更多>
更多