GameNGen: Modelos de difusión como motores de juego en tiempo real [EN]

Se presenta GameNGen, un motor de juego basado completamente en un modelo neural que permite la interacción en tiempo real con entornos complejos. Simula el juego clásico DOOM a más de 20 fps en una sola TPU, logrando una calidad comparable a la compresión JPEG. El modelo se entrena en dos fases: 1) un agente de aprendizaje por refuerzo juega y graba sus sesiones, y 2) un modelo de difusión predice el siguiente fotograma basado en acciones pasadas. Se destaca la estabilidad visual en trayectorias largas mediante técnicas de condicionamiento.

[#1 acido303]

He visto el vídeo esta mañana y es impresionante a nivel técnico. No ya el resultado 20 fps y la calidad vs la cantidad de computación que hay que invertir para llegar a este resultado.

[#2 aironman]

#1 puedes explicarlo con más detalles por favor? Esto es un avance o una curiosidad?

[#3 frankiegth]

#2. Creo que es la red neuronal la que genera el juego y la respuesta al gameplay del jugador en tiempo real. Es decir, no es que se esté ejecutando el programa DOOM, es la propia red neuronal la que ha aprendido a simularlo entrenándola en el juego probablemente con todo el primer nivel. Si no me equivoco y por describirlo de algún modo lo que puede verse en ese video son "los sueños" o la "imaginación", en tiempo real y basados en "recuerdos", de una red neuronal entrenada para ello.

[#4 aironman]

#3 wtf!!!!

Sueñan los androides con Doom?