科创中国

行业领域

高新技术改造传统产业

需求背景

在用虚拟现实头戴设备(Head-Mounted Display，HMD)向用户呈现内容时，音频内容通过立体声耳机向用户播放。这时需要面临如何提高虚拟环绕声效果的问题。在虚拟现实应用中，当通过立体声耳机播放音频内容时，虚拟3D音频的目的是想要达到一种效果，让用户就像用扬声器阵列(如***或***)听一样，甚至像听现实中的声音一样真实。在制作虚拟现实音频内容时，通常有需要几种声音元素。一种提高临场感的方法是跟踪用户头部动作(head tracking)，对声音进行相应的处理。比如，如果原始声音被用户感知为来自正前方，当用户向左转头90度后，声音应被处理使得用户感知声音来自正右方90度。

需解决的主要技术难题

①对音频对象使用HRTF(Head Related Transfer Function，头相关变换函数)滤波器进行滤波，得到虚拟环绕声。直接将音频对象和BRIR卷积这种做法的缺点是如果场景复杂，含有大量的音频对象，则复杂度会变得非常高，特别是在虚拟现实设备上还需要根据头部的动作对音频对象的位置进行实时调整，对于很多音频播放终端，这将导致功耗过大，甚至无法播放。

②另外大量的音频对象数据从服务器到客户端对带宽的要求极高，不切合实际。拟现实全景声存在多种格式，在效率以及效果上各有优缺点。现有的虚拟现实全景声客户端一般无法完全支持和兼容各种全景声格式。

③同时，由于复杂度和带宽的限制，客户端支持有的全景声格式会力不从心。有鉴于此，在本领域需要一种有效且高质量生成虚拟现实全景声的系统解决方案。

期望实现的主要技术目标

现需提供一种全景声音频处理方法:

①采用服务器加客户端的音频处理方式，能有效地在服务器端兼容输入的各种全景声格式，将其根据应用和内容，动态地选择兼容性好的中间格式进行转码输出，从而大大改善客户端对全景声的兼容性，降低客户端处理全景声的复杂度，减小服务器到客户端传送全景声信号的带宽。

②服务器端可以获取不同格式的音频信号，对不同格式的音频信号进行转码获得中间格式音频信号；对中间格式音频信号叠加，从而得到输出给客户端的中间格式音频信号；

③客户端可以从服务器端获取输出给客户端的中间格式音频信号；获取头部旋转方向；解码获得全景声双耳信号。

需求解析

解析单位：“科创中国”创业投资专业科技服务团（北京创业投资协会） 解析时间：2023-11-28

卢胜利

易联资本

合伙人

综合评价

全景声，它是一种基于Ambisonics声道独立的球形声场再现技术，它 除了可以还放水平面信息外，还能还放自下而上的高度信息。我国由于技术和平台受限等原因，全景声采集和播放一直以来处于探索阶段。音频领域的核心技术长时间以来由外国企业或科研机构掌握。结合HOA和VBAP自适应混合全景声控制方法对音频进行渲染处理，将复杂多维声源精准的还原在三维空间里，在保持声音平滑运动的情况下更精准定位声源位置，确保多声源复杂场景高效准确的呈现，从而满足现场沉浸式音频播放的需求。

查看更多>

处理进度