Das World and Human Action Model (WHAM), das den Namen "Muse" trägt, ist ein generatives KI-Modell für Videospiele, das in der Lage ist, sowohl Spielgrafiken als auch Steuerungsaktionen zu generieren.
Die Entwicklung von Muse wurde von den Teams für Game Intelligence und Teachable AI Experiences bei Microsoft Research in Zusammenarbeit mit den Xbox Games Studios und Ninja Theory vorangetrieben. Um anderen Forschern die Möglichkeit zu geben, diese Modelle zu erkunden und weiterzuentwickeln, werden die Gewichte und Beispieldaten als Open Source bereitgestellt. Ein Demonstrationsprototyp, der eine visuelle Schnittstelle für die Interaktion mit WHAM-Modellen bietet, steht ebenfalls zur Verfügung. Entwickler können auf Azure AI Foundry auf die Modelle zugreifen und damit experimentieren.
Die Forschung konzentriert sich auf die Fähigkeiten, die Modelle wie Muse benötigen, um menschliche Kreative effektiv zu unterstützen. Muse zeigt die reiche Struktur der Spielwelt, die ein Modell erlernen kann, und wie Forschungserkenntnisse entwickelt werden können, um kreative Anwendungen generativer KI-Modelle zu unterstützen.
Muse kann komplexe Spielsequenzen erzeugen, die über mehrere Minuten hinweg konsistent sind. Diese Sequenzen wurden durch eine Eingabe von 10 Anfangsframes menschlichen Gameplays und den Steuerungsaktionen der gesamten Spielsequenz generiert. In diesem "World Model Mode" prognostiziert Muse, wie sich das Spiel von der anfänglichen Eingabesequenz aus entwickeln wird. Je näher die generierte Spielsequenz dem tatsächlichen Spiel ähnelt, desto genauer hat Muse die Spieldynamik erfasst.
Die Motivation für die Forschung liegt in der Untersuchung der Auswirkungen transformer-basierter generativer Modelle, wie sie durch ChatGPT demonstriert wurden. Das Team verfügte über umfangreiche Spieldaten aus der Zusammenarbeit mit Ninja Theorys Xbox-Spiel Bleeding Edge. Diese Daten dienten als Basis für die Entwicklung von Muse.
Wichtige Designentscheidungen konzentrierten sich darauf, Erkenntnisse aus der Community der großen Sprachmodelle zu nutzen und effektive Darstellungen von Steuerungsaktionen und Bildern zu entwickeln.
Die interdisziplinäre Zusammenarbeit spielte eine entscheidende Rolle bei der Bewertung und Weiterentwicklung von Muse. Das Team arbeitete eng mit Kreativen zusammen, um zu verstehen, wie diese Modelle genutzt werden könnten.
Making Memory for Memory Makers 
