Crear una experiencia de audio para aplicaciones VR/AR o MR puede ser complicado. El sistema de audio incorporado en el motor de un juego, se diseña principalmente para consolas y PC. Si se proporciona en visores VR suele quedar el sonido muy poco natural.
Meta agregó recientemente capacidades de audio inmersivo a su plataforma de presencia, la herramienta de audio envolvente “XR Audio SDK”, diseñada para facilitar a los desarrolladores la incorporación de sonido espacializado y más localizado. Actualmente solo está disponible en Unity Engine, que se usa ampliamente en realidad virtual, con planes para Unreal, Wwise, FMOD, en el futuro.
La plataforma Presence es una colección de herramientas de desarrollo e interfaces de programación que permiten la interacción manual y de voz, así como capacidades AR, con Quest 2 y Quest Pro.
Las aplicaciones desarrolladas con el SDK de audio, pueden ejecutarse en casi todos los dispositivos de VR móviles independientes, así como en PCVR (SteamVR, etc.) y otros. Audio SDK es compatible con fuentes de sonido puntuales y fuentes de sonido ambiental; ahora es compatible con Unity y planea proporcionar servicios para Unreal, Wwise y FMOD en el futuro.
XR Audio SDK tiene mejor en cuenta los efectos de filtrado de la cabeza, el oído externo y el torso, que influyen fuertemente en el sonido en el mundo real: la llamada “Función de transferencia relacionada con la cabeza” (HRTF) está diseñada para imitar con precisión la percepción real. Sin este sistema, los sonidos a corta distancia suenan antinaturales, especialmente.
Las simulaciones de acústica de salas se benefician de los primeros reflejos de sonido y la reverberación, según el tamaño de la sala, la forma y las superficies del material. Entonces, cuando un usuario inicia un juego AR en una oficina vacía, la voz de un oponente virtual resuena en las paredes como la suya, cuya uniformidad está diseñada para aumentar la sensación de presencia.
Las capacidades de reproducción de audio espacial y acústica de la sala incluidas mejoran y amplían el SDK de Oculus Spatializer tradicional, y este conjunto de funciones se puede ampliar en versiones futuras. Según Meta, el sistema es más adecuado para el uso de VR que los sistemas de audio incorporados en los motores de juegos populares, que están dirigidos principalmente a consolas y PC.
Por otro lado, XR Audio SDK ofrece flexibilidad y facilidad de uso, lo que permite una mezcla básica inmersiva incluso para desarrolladores sin experiencia en audio.
Para nuevos proyectos en el motor de Unity, Meta recomienda usar el nuevo XR Audio SDK para un mejor mantenimiento de la aplicación a largo plazo o para probar funciones experimentales.