Wie KI-Technologie der ETH die Feuerwesen im aktuellen Pixar-Kinofilm belebt
Heute kommt der neuste Animationsfilm «Elemental» aus den Walt Disney Studios und dem Pixar Animation Studio in die Schweizer Kinos. Der Film dreht sich um die feurige Ember, die in Element City lebt – einem Ort, wo Feuer-, Wasser-, Erd- und Luftwesen leben. In dem Film steckt nicht nur Hollywood drin, sondern auch ETH-Technologie.
Die Hauptfigur Ember ist ein feuriges Elementarwesen, dessen Kopf aus Flammen besteht, die sich ständig bewegen. Diese Feuerflammen und Hitzeströmungen realistisch nachzuzeichnen, stellte die Animationsfilmer:innen vor eine grosse Herausforderung, wie unlängst das externe Seite Tech-Magazin Wired berichtete – mit der ETH-Technologie kamen sie schliesslich zu einer Lösung, welche die Flammenstruktur in Embers Gesicht derart ausgeprägt erscheinen lässt, wie das mit den bisherigen Simulationstechnologien nicht möglich war.
«Unsere Technologie gibt den Flammen einen einzigartigen Stil, und ist somit ein Werkzeug für Künstler:innen, um eine Story visuell zu unterstützen», sagt von Barbara Solenthaler, ETH-Professorin für Computergraphik und Leiterin der Simulations- and Animations-Gruppe. Unter ihrer Leitung wurde die neue Technologie 2019/2020 im Computer Graphics Lab der ETH Zürich entwickelt.
Bilder übertragen, um Story zu unterstützen
Die neue 3D-Simulationstechnologie verwendet künstliche Intelligenz und ermöglicht die künstlerische Kontrolle über das Aussehen und die Strukturen von Rauch, Feuer oder Flüssigkeiten. Mit Hilfe dieser KI lassen sich zum Beispiel Rauchwolken gezielt für visuelles Storytelling einsetzen. Die ETH-Technologie kann nämlich Flammen, Rauchwolken oder Flüssigkeiten künstlerisch so verändern, dass sie die Geschichte unterstützen.
Die Technologie steuert dabei nicht die äussere Form, sondern die lokalen Strukturen im Rauch. Sie kann zum Beispiel ein Spiralmuster auf die Rauchwolke rechnen. Sie kann genauso gut den Stil von Van Goghs Bild «Sternennacht» auf den Rauch übertragen. «Unsere Technologie kann die Struktur eines x-beliebigen Input-Bildes auf Rauch, Flammen oder auch Flüssigkeiten übertragen», sagt Barbara Solenthaler. Sehr schön sind hasenartige Wolkenformation in einem Video aus Solenthalers Gruppe zu sehen. In einem anderen, ebenfalls sehenswerten externe Seite Video zeigt Solenthalers Team, wie es Strömungs-, Feuer- und Rauchphänomene zugleich künstlerisch sowie natürlich darstellen kann.
Sogleich Disneys Interesse geweckt
Die KI-basierte 3D-Simulationstechnologie stiess schon kurz, nachdem die ETH-Forschenden sie publiziert hatten, bei den Walt Disney Studios auf grosses Interesse. «Die Technologie entstand an der ETH und der Code dazu ist open source verfügbar», sagt Barbara Solenthaler, «wir haben danach mit Hilfe von Disney Research Studios in Zürich die Technologie in die Pipelines der Disney Animation Studios und des Pixar Animation Studio transferiert.»
Bereits 2021 kam die ETH-Technologie in dem computeranimierten Fantasyfilm «Raya und der letzte Drache» zum ersten Mal zum Einsatz – in einer online publizierten externe Seite Szene, in der sich kreisartig ausströmende Rauchformationen aus einer Ruine heraus ausbreiten. «Der Effekt im Raya-Film basierte auf unserer ETH-Publikation. Für den aktuell in den Schweizer Kinos laufenden Pixar-Film Elemental hat Disney Research Studios in Zürich die Technologie weiterentwickelt und für den Haupt-Charakter Ember verwendet», sagt Solenthaler.
Eine Technologie für die Hauptfigur
Konkret geht es in Elemental darum, dass die Hauptfigur Ember ein Feuerwesen ist, dessen Gesicht ständig in flammenartiger Bewegung ist. Die neue ETH-Technologie ermöglichte es nun, dass eine zunächst künstlerisch erstellte Flammenstruktur auf Embers Erscheinung zu übertragen, und zwar so dass das Feuer und die Flammen auf Embers Körper äusserst naturgetreu aussehen. Die ETH-Technologie trug ihren Teil dazu bei, um Ember und die anderen Feuerwesen, die Element City bevölkern, regelrecht «zum Leben bringen», wie das die externe Seite Walt Disney Studios kürzlich würdigten.
In die finale Ausarbeitung dieser Effekte waren die ETH-Forschenden nicht mehr involviert, diese wurden externe Seite von Disney Research Studios und Pixar Animation Studio selbst vollendet. Wie Embers Flammenkopf mit der neuen Technologie im Film animiert wurde, ist mittlerweile auch externe Seite dokumentiert. «Wenn ich sehe, wie faszinierend die Effekte in Elemental und speziell bei Ember herausgekommen sind, dann bin ich begeistert, dass unsere Forschung dafür der Ausgangspunkt ist», sagt Solenthaler.
Literaturhinweise
Tang, J, Kim, B, Azevedo, VC, Solenthaler, B. Physics-Informed Neural Corrector for Deformation-based Fluid Control. COMPUTER GRAPHICS forum Volume 42 (2023), Number 2. externe Seite Mit Video.
Kim, B, Azevedo, VC, Gross, M, Solenthaler, B. Lagrangian Neural Style Transfer for Fluids. Proceedings of ACM SIGGRAPH (Washington, D.C., US, July 19-23, 2020), ACM Transactions on Graphics, vol. 39, no. 4, pp. 1:1-1:10. Mit Video.
Kim, B, Azevedo, VC, Gross, M, Solenthaler, B. Transport-Based Neural Style Transfer for Smoke Simulations. Proceedings of ACM SIGGRAPH Asia (Brisbane, Australia, November 17-20, 2019), ACM Transactions on Graphics, vol. 38, no. 6, pp. 188:1-188:11. Mit Video.