科创中国

电子信息技术,计算机及网络技术

本发明适用于三维可视化技术领域，提供了一种生成说话人三维运动模型的方法包括：获取摄像头采集的彩色图像的信息以及深度数据信息；将获取到的数据送入人脸检测函数，计算是否检测到人脸，如果检测到人脸，则计算当前人脸的状态；根据计算出的当前人脸的状态生成被测试人的三维人头模型；获取被测试人发音的运动轨迹的位移；根据被测试人发音的运动轨迹的位移和生成被测试人的三维人头模型，生成发音的三维人头运动模拟。本发明增加了三维建模的效率。另外，本发明在建立任意人的三维说话人运动模型的基础上，同时考虑声音向任意人的转变，从而使得本发明具有个性化人头与个性化声音结合效果。

一种生成说话人三维运动模型的方法，其特征在于，所述方法包括以下步骤：初始化深度摄像头和彩色摄像头、初始化三维标准模型和初始化EMA发音驱动参数；读入EMA发音数据对应的声音信息文件，所述文件包括被采集EMA运动数据的人的原始发音数据；获取摄像头采集的彩色图像的信息以及深度数据信息，所述深度数据信息获取完毕后，对三维人头的姿态进行规范化处理，将其进行旋转平移缩放，统一到一坐标系的同一个位置，并做归一化，生成一组用于配准的三维人头模型的深度数据；将获取到的数据送入人脸检测函数，计算是否检测到人脸，如果检测到人脸，则计算当前人脸的状态；根据所述彩色图像的信息、所述深度数据信息和计算出的当前人脸的状态生成被测试人的三维人头模型，将多角度的彩色图像根据对应的三维深度特征点的坐标映射到配准后的三维人头模型，生成对应的三维人头模型的纹理；所述三维人头模型上覆盖有对应的三维人头模型的纹理；获取被测试人发音的运动轨迹的位移；根据所述被测试人发音的运动轨迹的位移和所述生成被测试人的三维人头模型，生成发音的三维人头运动模拟。

中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。

点击查看