科创中国

本发明适用于三维可视化技术领域，提供了一种生成说话人三维运动模型的方法包括：获取摄像头采集的彩色图像的信息以及深度数据信息；将获取到的数据送入人脸检测函数，计算是否检测到人脸，如果检测到人脸，则计算当前人脸的状态；根据计算出的当前人脸的状态生成被测试人的三维人头模型；获取被测试人发音的运动轨迹的位移；根据被测试人发音的运动轨迹的位移和生成被测试人的三维人头模型，生成发音的三维人头运动模拟。本发明增加了三维建模的效率。另外，本发明在建立任意人的三维说话人运动模型的基础上，同时考虑声音向任意人的转变，从而使得本发明具有个性化人头与个性化声音结合效果。

一种生成说话人三维运动模型的方法，其特征在于，所述方法包括以下步骤：初始化深度摄像头和彩色摄像头、初始化三维标准模型和初始化EMA发音驱动参数；读入EMA发音数据对应的声音信息文件，所述文件包括被采集EMA运动数据的人的原始发音数据；获取摄像头采集的彩色图像的信息以及深度数据信息，所述深度数据信息获取完毕后，对三维人头的姿态进行规范化处理，将其进行旋转平移缩放，统一到一坐标系的同一个位置，并做归一化，生成一组用于配准的三维人头模型的深度数据；将获取到的数据送入人脸检测函数，计算是否检测到人脸，如果检测到人脸，则计算当前人脸的状态；根据所述彩色图像的信息、所述深度数据信息和计算出的当前人脸的状态生成被测试人的三维人头模型，将多角度的彩色图像根据对应的三维深度特征点的坐标映射到配准后的三维人头模型，生成对应的三维人头模型的纹理；所述三维人头模型上覆盖有对应的三维人头模型的纹理；获取被测试人发音的运动轨迹的位移；根据所述被测试人发音的运动轨迹的位移和所述生成被测试人的三维人头模型，生成发音的三维人头运动模拟。

现有的自动生成任意人的三维运动模型的方案为:预先建立三维人脸库和三维发 型库，对输入的正面人脸照片进行特征点提取和头发分割，分别生成三维人脸模型与三维 头发模型，然后将人脸模型与头发模型合成。由于只采取了正面的照片作为输入，照片是二 维的，因此，在恢复二维模型时必然失去了很多重要的ί目息，如侧脸的深度ί目息，在这种情 况下恢复出的三维人模型也必然存在与实际人物的误差。而且，头发的模型也采用从头发 数据库里去匹配寻找，而并非直接去恢复，这无疑增加了许多人工合成的因素。由上可知， 现有技术实现任意人的三维运动模型是非全自动，需要人工干预。

中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。

本发明实施例是一种融合了三维人头建模技术、三维人头运动模拟 技术、人脸检测技术等众多先进技术的一体化系统。本发明实施例的硬件外设部分为一台 计算机和一个带有深度数据获取功能的彩色摄像头，如Kinect;软件部分主要由四个模块 构成:初始化模块、数据自动采集模块、自动实时建模模块和发音驱动模块。系统启动首先 交由初始化模块，打开带有深度数据获取功能的彩色摄像头，初始化各种参数，然后被测试 人坐于摄像头之前，调整身体和头部姿势，系统的数据自动采集模块会自动进行检测并提 示，当系统提示已检测到目标，就会再次提示，让被测试人缓慢移动头部，从左到右或从右 到左转动，系统会自动记录采集人的彩色数据、深度数据、及头部姿态。采集到足够的人物 的数据之后，数据自动采集模块会将采集的数据交由自动建模模块。自动实时建模模块会 根据采集的数据进行规范化，使用标准模型对其配准，然后完成贴图，生成测试的人三维人 模型。最后自动建模模块将变形后的三维人头模型交由发音驱动模块，生成发音的运动模 拟。

技术合作

发明在建立任意人的三维说话人运动模型的基础上，同时考虑声音向任 意人的转变，对于任意一个人，使得生成此人的三维说话模型不仅具有此人的模样而且具 有与此人一样的声音，从而使得本发明具有个性化人头与个性化声音结合效果。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以 通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中， 所述的存储介质，如R0M/RAM、磁盘、光盘等。