成果介绍
本发明公开了一种基于时空信息的面部疼痛表情分析方法及系统,通过使用滑动窗口采样面部表情视频,获得若干段采样视频,能够提高数据集的利用率,对视频帧进行离散余弦变换并采用锯齿扫描进行增强,获得细节特征增强图,能够增强细节信息,然后将每段采样视频的所有视频帧和对应的细节特征增强图组合后分别输入Transformer模型,在Transformer模型中采用串联交叉方式提取时间特征和空间特征并融合,最后根据每段采样视频对应的疼痛级别获得疼痛分析结果。能够充分地提取面部表情视频的特征信息,疼痛评估的准确性高。
成果亮点
基于时空信息的面部疼痛表情分析方法,其特征在于,所述方法包括:
获取面部表情视频;
采用滑动窗口对所述面部表情视频进行采样,获得若干段采样视频;
对每段采样视频的每一视频帧分别进行离散余弦变换,获得每一视频帧对应的频域矩阵;采用锯齿扫描对所述频域矩阵进行增强后再进行离散余弦逆变换,获得每一视频帧对应的细节特征增强图;
将每段采样视频的所有视频帧和对应的细节特征增强图组合并分别输入Transformer模型,在所述Transformer模型中以串联交叉方式提取时间特征和空间特征,获得每段采样视频对应的疼痛级别;
根据所有采样视频对应的疼痛级别获得疼痛分析结果并输出。
团队介绍
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力,推动我国自主知识产权新工业的建立,成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统,由九个研究平台,国科大深圳先进技术学院,多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究,促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
成果资料
产业化落地方案