科创中国

行业领域

新一代信息技术

需求背景

情感识别在研究人类及人类心理问题的过程中起到重要作用，随着人工智能的发展，通过大量的数据训练获得可以自动识别人类情感的模型。现有的情感识别研究已经充分地探索了如何从语音和表情、皮肤温度和血压、脑神经活动等信息中识别情绪状态。

现有的情感识别装置有着无法通过用户的动作数据识别用户情感的缺点。

并且情感识别融合了语音信号处理、数字图像处理、模式识别、心理学等多种学科，是人机交互的重要分支，有助于为人机交互提供更好、更人性化的用户体验，使得机器人能够感知用户的情感状态并进行分析、随之产生相应的响应，因此，情感识别作为机器人的一项重要能力有着广泛的研究和应用前景。但是现有的情感识别的准确率相对较低。

需解决的主要技术难题

面向视觉的情感计算模型将视频切分成等长的短片段，在片段内通过一个双流网 络捕获短时的面部动作变化，通过transformer捕获片段间更长时的面部动作变化。 采用相位差作为输入提取时序特征，解决传统的光流法对光照敏感的问题，提高对光

照变化的鲁棒性。

情感识别系统运行于Windows 64位服务器，支持Python调用接口，支持文件方

式接口调用模式
在虚拟现实CAVE环境中采集情感视频，需要构建用于诱发情感的三维全景视频，

包含父母吵架场景、霍兰德职业生涯六岛视频等不少于5个360度全景视频。

期望实现的主要技术目标

研制情感计算模型，能够对基于视觉的情感进行识别，尤其在光照变化较大的自然场景下，实现鲁棒的基于视频的表情识别。开发愉悦度-激起度(valence-arousal)二维空间情感识别系统，对情感进行量化，以精确的数值实时描述情感。
在光照变化较大的自然场景下，  实现鲁棒的基于视频的表情识别。在虚拟现实CAVE环境下利用全景视频  诱发情感，利用相机采集情感视频数据。以采集视频作为输入，通过建  立面向视觉的情感计算模型，对视频情感数据进行分析。开发情感空间  识别系统，实现精确描述情感，表征情感连续变化过程，输出情感分析报 告
说明 完成输入视频的情感识别

输入 采集后得到的视频片段

输出 输出1:情感的愉悦度(valence)和激起度(arousal)

随时间变化的曲线；

输出2:情感分析报告

返回值 执行结果=0表示执行成功；

<0表示执行失败；

>0表示执行存在警告信息。

需求解析

解析单位：“科创中国”科技创新全链条服务生态系统专业科技服务团（北京八月瓜科技有限公司） 解析时间：2022-11-21

张晖

中国电子技术标准化研究院

主任

综合评价

提出单位的技术需求—视觉中的情感计算是近年来计算机视觉领域的热点和难点问题。基于视觉的情感计算研究应用到智能机器的信息处理中，将能够进一步提高智能机器的认知能力及决策分析能力，进而增强人机交互的智能性及适应性。由于缺乏较大规模的情感数据资源，情感计算的发展受到一定的限制，目前符合人类情感规律并适于机器实现的情感计算自动生成模型还很缺乏，视觉表情识别技术也还不够成熟，情感信息融合难度大，没有统一的情感计算理论方法模型等。所以此项技术需求虽然能解决但很有难度。 北京航空航天大学在该领域有较深厚的技术积累，研发出一种基于视频内容生成情感曲线的多源情感计算系统及方法（发明专利号 202110533941.1 基于视频内容生成情感曲线的多源情感计算系统及方法），涉及深度学习、计算机视觉、情感计算、音频处理和图像处理等技术。实现了在计算机上计算视频情感变化曲线的自动化方法和系统，保留了观看者手工情感标注的特征，输出结果平滑自然，视觉效果更高，后续分析利用价值更大。 建议技术需求提出单位与北京航空航天大学进行联合研发。

查看更多>

处理进度