科创中国

本发明公开了一种基于时空信息的面部疼痛表情分析方法及系统，通过使用滑动窗口采样面部表情视频，获得若干段采样视频，能够提高数据集的利用率，对视频帧进行离散余弦变换并采用锯齿扫描进行增强，获得细节特征增强图，能够增强细节信息，然后将每段采样视频的所有视频帧和对应的细节特征增强图组合后分别输入Transformer模型，在Transformer模型中采用串联交叉方式提取时间特征和空间特征并融合，最后根据每段采样视频对应的疼痛级别获得疼痛分析结果。能够充分地提取面部表情视频的特征信息，疼痛评估的准确性高。

基于时空信息的面部疼痛表情分析方法，其特征在于，所述方法包括： 获取面部表情视频； 采用滑动窗口对所述面部表情视频进行采样，获得若干段采样视频； 对每段采样视频的每一视频帧分别进行离散余弦变换，获得每一视频帧对应的频域矩阵；采用锯齿扫描对所述频域矩阵进行增强后再进行离散余弦逆变换，获得每一视频帧对应的细节特征增强图； 将每段采样视频的所有视频帧和对应的细节特征增强图组合并分别输入Transformer模型，在所述Transformer模型中以串联交叉方式提取时间特征和空间特征，获得每段采样视频对应的疼痛级别； 根据所有采样视频对应的疼痛级别获得疼痛分析结果并输出。

国际上对于疼痛的评估都是由受过专门训练并熟悉各项监测指标的医护人员进行人工评估，评估结果更多地依赖于个人的知识与经验，并受个人的情绪等主观因素的影响，不能完全客观反映病患疼痛程度。因此，开发一种面部表情的疼痛分析方法，为临床提供客观准确的疼痛评估，对医护人员及时采取相应的镇痛措施具有非常重要的意义和价值。

当前的疼痛评估方法多是对面部表情图像进行分析，获得疼痛等级，没有考虑到表情是一个动态变化的过程，同时具有时间域上的特征信息和空间域上的序列信息，因此，特征信息提取不够充分，疼痛评估的准确性不高。并且当前对视频进行分割时仅仅是对视频进行分段，增加视频的段数，获得多段视频，本质上并没有提高整体数据集的数据量和利用率。

中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。

本发明第四方面提供一种计算机可读存储介质，上述计算机可读存储介质上存储有基于时空信息的面部疼痛表情分析程序，上述基于时空信息的面部疼痛表情分析程序被处理器执行时实现任意一项上述基于时空信息的面部疼痛表情分析方法的步骤。

由上可见，与现有技术相比，本发明通过使用滑动窗口采样面部表情视频，获得若干段采样视频，能够提高数据集的利用率，对视频帧进行离散余弦变换并采用锯齿扫描进行增强，获得细节特征增强图，能够增强细节信息，然后将每段采样视频的所有视频帧和对应的细节特征增强图组合后分别输入Transformer模型，在Transformer模型中采用串联交叉方式提取时间特征和空间特征并融合，最后根据每段采样视频对应的疼痛级别获得疼痛分析结果。能够充分地提取面部表情视频的特征信息，疼痛评估的准确性高，且序列预测的时序性强。

技术合作

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。