Fractura es una sala de realidad virtual creada por Rec Room que explora el uso de herramientas de IA generativa (GenAI) para crear mundos virtuales. El resultado es un paisaje alienígena inmersivo lleno de misterios antiguos.

Equipo creativo

El equipo creativo interno de Rec Room adoptó un enfoque amplio y experimental, evaluando más de 20 herramientas de GenAI diferentes para identificar las que tenían más potencial para beneficiar a la comunidad creativa de Rec Room. Dado que Rec Room Studio se basa en Unity 3D, todas las herramientas de GenAI mencionadas en este documento y otras pueden ser utilizadas por cualquier creador de Rec Room hoy en día.

Concepto

El uso de GenAI comenzó en la fase de concepto. El equipo utilizó ChatGPT para desarrollar las ideas detrás de Fractura, iterando a través de muchos prompts. El equipo exploró ideas para paisajes, flora y leyendas para dar forma al concepto.

Estas ideas se visualizaron luego utilizando Midjourney y Dall-E. Alimentadas por la salida de texto de ChatGPT, estas generadoras de imágenes AI crearon conceptos visuales impactantes.

Este proceso fue iterativo, y el equipo utilizó cada ronda como inspiración para refinar las ideas y dar forma a la identidad y estética de Fractura.

Skyboxes

En los videojuegos, un “skybox” es una textura inmersiva que hace que el entorno parezca más grande de lo que realmente es. Crear skyboxes convincentes es una tarea difícil que requiere que los artistas creen texturas “esféricas” difíciles.

Para Fractura, el equipo utilizó Skybox AI de Blockade Labs. Skybox AI permitió al equipo generar rápidamente skyboxes con la vibración etérica adecuada ingresando comandos de texto basados ​​en la salida de la fase de concepto.

La facilidad de generación permitió al equipo crear múltiples skyboxes que los jugadores pueden elegir dinámicamente en el mundo de Fractura.

Generación de activos 3D

GenAI también se utilizó para generar activos 3D. Herramientas como CSM, Shap-E y otras tuvieron pros y contras. Estas herramientas se utilizaron para crear árboles, robots de piedra antiguos, masas de tierra flotantes y edificios distantes, infundiendo a Fractura con un atractivo sobrenatural.

Sin embargo, los desafíos de optimización y rendimiento fueron comunes. Los activos generados a menudo tenían un recuento de polígonos muy alto, lo que requirió una simplificación y optimización manual para que pudieran usarse con éxito en Rec Room Studio. Los tiempos de generación también solían ser bastante largos.

A pesar de algunos desafíos, el futuro para la IA 3D parece prometedor, y el equipo espera continuar explorando.

Creación de texturas y banda sonora

El equipo utilizó Withpoly.com para la creación de texturas y MusicGen para la banda sonora.

Withpoly.com facilitó la generación rápida de texturas y mapas normales, lo que permitió al equipo integrar texturas detalladas en el entorno del juego y los elementos arquitectónicos. Dado que era rápido y fácil iterar sobre las texturas y los mapas normales, el equipo descubrió que podía usar esta herramienta para obtener el tipo de “encanto sobrenatural” que buscaban.

En cuanto a la banda sonora, MusicGen realmente lo entregó. Este generador de música impulsado por IA ayudó a crear una banda sonora adaptada al paisaje alienígena de Fractura. La capacidad de la herramienta para sintetizar tonos sobrenaturales, melodías evocadoras y paisajes sonoros ambientales ayudó a infundir a Fractura con audio cautivador e inmersivo.

Ideación e elementos interactivos

ChatGPT, Midjourney y CSM ayudaron al equipo a crear experiencias interactivas dentro del paisaje alienígena. La incorporación de componentes generados por IA condujo al desarrollo de actividades, como un juego de tiro al blanco y un espíritu de fuego interactivo.

Si bien estos elementos interactivos no fueron generados “íntegramente” por herramientas de GenAI, las aplicaciones de GenAI hicieron que el proceso creativo fuera más eficiente y permitieron un flujo fluido desde la conceptualización de ideas hasta la implementación de elementos tangibles dentro del juego.

Fractura es un hito en la exploración de Rec Room de la IA generativa. Destaca tanto su potencial transformador como los desafíos de su integración. Fractura ejemplifica cómo los creadores de Rec Room pueden aprovechar la IA generativa y Rec Room Studio para iterar y crear salas atractivas de manera eficiente, basadas en su imaginación, creatividad y visión.