科创中国

新一代信息技术产业,人工智能

本发明提供了一种语音驱动三维人脸动态模拟方法，包括：获取待处理音频；通过语音特征提取器从待处理音频中提取语音特征向量；基于语音特征向量及情绪识别器，识别出待处理音频对应的情绪特征向量；将语音特征向量对应的语音隐式表示及情绪特征向量输入至解码器，得到混合形状帧；将混合形状帧应用于人脸数据库中的人脸模型上，得到待处理音频对应的三维人脸动态模型。本发明的方法不受限于特定的模型，且支持长时语音输入的训练与推理。

本发明提供一种语音驱动三维人脸动态模拟方法，包括：获取待处理音频；通过语音特征提取器从待处理音频中提取语音特征向量；基于语音特征向量及情绪识别器，识别出待处理音频对应的情绪特征向量；将语音特征向量对应的语音隐式表示及情绪特征向量输入至解码器，得到混合形状帧；将混合形状帧应用于人脸数据库中的人脸模型上，得到待处理音频对应的三维人脸动态模型。

根据中央建设创新型国家的总体战略目标和国家中长期科技发展规划纲要，围绕深圳市实施创新型城市战略，2006年2月，深圳市人民政府及香港中文大学友好协商，在深圳市共同建立中国科学院深圳先进技术研究院（以下简称“深圳先进院”），实行理事会管理，探索体制机制创新。经过十三年发展，深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，生物医学与健康工程研究所、先进计算与数字工程研究所、生物医药与技术研究所、脑认知与脑疾病研究所、合成生物学研究所（筹）、先进材料科学与工程研究所（筹）、前瞻性科学与技术中心），国科大深圳先进技术学院，多个特色产业育成基地（深圳龙华、平湖及上海嘉定）、多支产业发展基金、多个具有独立法人资质的新型专业科研机构（深圳创新设计研究院、深圳北斗应用技术研究院、中科创客学院、济宁中科先进技术研究院、天津中科先进技术研究院、珠海中科先进技术研究院、苏州先进技术研究院、杭州先进技术研究院、武汉中科先进技术研究院、山东中科先进技术研究院）等组成。