科创中国

本发明实施例公开了一种动态人手渲染方法、装置、电子设备及存储介质，所述方法包括：获取人手图像序列；通过基于姿态依赖的运动场分布，将所述人手图像在观察空间中的采样点从观察空间变换到标准空间下，得到标准空间中采样点的采样点坐标；根据所述标准空间中采样点的采样点坐标，在所述标准空间中学习基于身份依赖的神经辐射场，得到所述采样点的体积颜色和体积密度；对所述采样点的体积颜色和体积密度进行渲染，得到所述人手的渲染结果，所述渲染结果包括所述人手的渲染图像和/或所述人手的三维模型。本发明解决了相关技术存在的动态人手渲染结果不够逼真的问题。

权利要求 1.一种动态人手渲染方法，其特征在于，所述方法包括： 获取人手图像序列，所述人手图像序列包括多帧人手图像，各帧所述人手图像是针对人手进行不同视角的拍摄得到的； 通过基于姿态依赖的运动场分布，将所述人手图像在观察空间中的采样点从观察空间变换到标准空间下，得到标准空间中采样点的采样点坐标； 根据所述标准空间中采样点的采样点坐标，在所述标准空间中学习基于身份依赖的神经辐射场，得到所述采样点的体积颜色和体积密度； 对所述采样点的体积颜色和体积密度进行渲染，得到所述人手的渲染结果，所述渲染结果包括所述人手的渲染图像和/或所述人手的三维模型。 2.如权利要求1所述的方法，其特征在于，所述通过基于姿态依赖的运动场分布，将所述人手图像在观察空间中的采样点从观察空间变换到标准空间下，得到标准空间中采样点的采样点坐标，包括： 通过人手参数化模型对所述各帧人手图像的姿态和形状进行估计，得到所述各帧人手图像的姿态参数和形状参数； 在观察空间中通过所述姿态参数和形状参数的引导，学习得到基于姿态依赖的运动场分布；

动态人手的渲染技术一直是计算机视觉和计算机图形学研究的热点。相关技术在人机交互、虚拟现实、混合现实、全息通信等多个领域有着重要的应用。

在相关技术中，传统渲染方法得到的三维人手模型和二维人手图像，通常采用纹理贴图和彩色网格进行人手纹理渲染和几何建模，但开发精心设计的个性化彩色网格和纹理贴图通常需要昂贵的扫描数据和专业知识，有限的纹理贴图和彩色网格难以保证动态人手渲染结果逼真；同时，由于人手高度铰接的结构，铰接式手部运动会导致严重的自我遮挡，不同的手部姿态会导致照明和阴影模式的明显变化，因此得到的动态人手渲染结果不够逼真。

因此，急需一种能够提高动态人手渲染结果逼真程度的动态人手渲染方法。

中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。

具体而言，本发明首先获取人手图像序列，人手图像序列包括多帧人手图像，各帧人手图像是针对人手进行不同视角的拍摄得到的，通过基于姿态依赖的运动场分布，将人手图像在观察空间中的采样点从观察空间变换到标准空间下，得到标准空间中的采样点坐标，根据标准空间中的采样点坐标对标准空间的神经辐射场进行学习，得到采样点的体积颜色和体积密度，对采样点的体积颜色和体积密度进行体积渲染，得到人手的渲染图像，对采样点的体积密度进行可微分渲染，得到人手的三维模型。上述过程中，本发明通过在多视角场景下结合基于姿态依赖的运动场分布和神经辐射场，基于姿态依赖的运动场分布将人手从观察空间反变换到一个姿态依赖的标准空间，在这个标准空间下让神经辐射场学习可解的隐函数表示，通过可解的隐函数表示实现对纹理高频细节的渲染，得到更准确的纹理重建效果，并且可以通过体积渲染方法来渲染神经辐射场，从而得到任意视角的人手合成图像，在新视图的渲染方面效果显著，并且能够显著提高动态人手渲染结果逼真程度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

技术合作

虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

上述内容，仅为本发明的较佳示例性实施例，并非用于限制本发明的实施方案，本领域普通技术人员根据本发明的主要构思和精神，可以十分方便地进行相应的变通或修改，故本发明的保护范围应以权利要求书所要求的保护范围为准。