Spektakuläre Bilder dank effizientem Algorithmus

Wenn James Bond in «Skyfall» auf dem Dach eines durch die Wüste brausenden Zugs versucht seinen Gegner unschädlich zu machen, kleben die meisten Zuschauer wie gebannt an der Leinwand. Die Spannung entsteht durch eine Reihe von schnell wechselnden Einstellungen: Ein Close-up von Bonds Gesicht, dann eine Halbtotale der Kampfszene und schliesslich eine Supertotale von Zug, Wüste und den kämpfenden Männern. Das Abfilmen dieser Szene war mit einem enormen personellen, materiellen und technischen Aufwand verbunden. Mehrere Kameraleute waren an unterschiedlichen Standorten stundenlang im Einsatz. Und für die spektakulären Nahaufnahmen musste sogar ein Kamerakran auf dem Zugdach aufgebaut werden.  

Tobias Nägeli, Doktorand am Advanced Interactive Technologies Lab von ETH-Professor Otmar Hilliges, ist überzeugt, dass sich solche Szenen auch mit weniger Aufwand filmen lassen. Gemeinsam mit Forschern der Delft University of Technology und des ETH-Spin-off Embotech hat er einen Algorithmus entwickelt, der es Drohnen ermöglichen soll, dynamische Szenen selbständig so zu filmen, wie sie von Regisseuren und Kameraleuten ausgedacht werden.

Kontrolle über Bildausschnitt behalten

Drohnen werden seit Jahren zum Filmen eingesetzt. Doch für gute Aufnahmen sind meist zwei erfahrene Experten notwendig – einer für die Steuerung der Drohne und einer für die Einstellung der Kamera. Das ist aufwendig und kostet viel Geld. Zwar gibt es heute schon kommerzielle Kameradrohnen, die einer zuvor definierten Person selbständig folgen können. «Doch dabei verliert der Regisseur die Kontrolle über den Bildausschnitt und die Möglichkeit mehrere Personen gleichzeitig im Bild zu behalten», sagt Nägeli. «Wir haben deshalb eine intuitive Steuerung entwickelt.»

Zur Erklärung des Systems macht Nägeli eine Analogie zu Staubsauger-Robotern: «Wir geben dem Roboter nicht den exakten Weg vor, den dieser abfahren soll. Wir definieren nur das Ziel; nämlich dass der Raum am Ende sauber sein soll.» Auf den Film übertragen heisst das: Für den Regisseur ist nicht wichtig, wo genau sich die Drohne zu einem bestimmten Zeitpunkt befindet. Hauptsache, die Kameraeinstellung entspricht am Ende seinen Vorstellungen.

Diese Übersetzungsleistung von Kameramann zu Drohne übernimmt Nägelis Algorithmus. Parameter, wie der Bildausschnitt, die zu verfolgende Person oder Kranen- sowie Kamerafahrten lassen sich darüber vor dem Flug definieren. Hinzu kommen zugunsten der Sicherheit räumliche Begrenzungen, innerhalb derer sich die Drohne frei bewegen kann. Der genaue Weg und Zeitpunkt für Richtungsänderungen werden von der Drohne 50 Mal pro Sekunde neu berechnet. Die dafür benötigen Daten stammen von GPS-Sensoren.

Low cost-Equipment und effizienter Algorithmus

Für einen ersten Machbarkeitsnachweis nutzte Nägeli eine einfache Drohne, die über das Internet für weniger als 500 Franken zu kaufen ist. Der Algorithmus läuft nicht auf der Drohne selbst, sondern auf einem externen Laptop, der über Funk und Richtstrahlantenne mit der Drohne verbunden ist. Damit sind Flüge bis zu einer Reichweite von eineinhalb Kilometern möglich. «Das reicht für die meisten angedachten Anwendungen», kommentiert Nägeli.

In einer ersten Publikation anfangs Jahr bewies Nägeli gemeinsam mit Forschern des Massachusetts Institute of Technology (MIT), dass die Drohne zuvor definierte Shots unter Berücksichtigung von Bildausschnitt sowie Position und Winkel eines Schauspielers im Bild selbständig ausführen kann.

Dabei erkennt die Drohne auch störende Objekte und weicht diesen automatisch aus. Für eine zweite Publikation beauftragte Nägeli die Filmemacherin Christina Welter der Zürcher Hochschule der Künste (ZHdK) damit, eine Szene mit vorgegebener Handlung zu skizzieren, für die normalerweise mehrere Kameras und Schienen für Kamerafahrten nötig wären. Nägeli programmierte zwei untereinander kommunizierende Drohnen mit den entsprechenden Regieanweisungen.

Damit gelingen ihm auch traditionell schwierig umsetzbare Aufnahmen, wie eine Kamerafahrt durch ein offenes Fenster oder das Filmen mit zwei Kameras in einem engen Innenraum. Durch entsprechende Programmierung konnte Nägeli ausserdem verhindern, dass sich die Drohnen gegenseitig ins Bild flogen.

Die Kameraleute der ZHdK standen Nägelis Innovation skeptisch gegenüber, schliesslich ist die Komposition eines guten Bildes ein hart erlerntes Handwerk. «Wir wollen aber auf keinen Fall den Regisseur oder die Kameraleute ersetzen», erklärt Nägeli. «Vielmehr soll unser System die Palette an Werkzeugen von Filmemachern erweitern und zuvor unmögliche oder nur mit sehr viel Aufwand verbundene Einstellungen ermöglichen.»

Einsatz für Sportübertragungen und Inspektionen

Nägeli spielt derzeit mit dem Gedanken, nach Abschluss seiner Doktorarbeit einen Spin-off zur Vermarktung der Technologie zu gründen. Die ETH Zürich hat bereits ein Patent für den Algorithmus angemeldet. Nägeli ist überzeugt, dass Medien- und Filmproduktionen ein Interesse daran haben könnten. Dies zeigt unter anderem ein Forschungsprojekt mit Beteiligung von Deutsche Welle und der italienischen RAI, das von der EU im Rahmen von Horizon 2020 gefördert wird.

Ein erstes Einsatzgebiet für die Algorithmen sieht Nägeli nicht in Filmstudios, sondern bei Sportübertragungen fürs Fernsehen, zum Beispiel für Skirennen. «Dort sind dynamische Aufnahmen äusserst gefragt», sagt Nägeli. «Doch manuell geflogene Filmdrohnen können die Athleten gefährden, wie Drohnenabstürze in der Vergangenheit gezeigt haben.» Heute werden deshalb meist «Spidercams» eingesetzt, wie zum Beispiel an der Ski-WM in St. Moritz. Die Kamera läuft an einem Drahtseil über dem Athleten mit. Dass auch dies nicht ungefährlich ist, zeigte die Kollision eines Flugzeugs mit der Installation in St. Moritz im Februar. «Wir machen eigentlich dasselbe wie Spidercams, nur virtuell und ohne Kabel», sagt Nägeli. «Wir können zuvor virtuelle Flugstrassen anlegen, die verhindern, dass die Drohnen einen minimalen Sicherheitsabstand zum Athleten unterschreiten.»

Auch für Inspektionen von Industrieanlagen könnten die Algorithmen eingesetzt werden, zum Beispiel bei Windrädern, die Mithilfe von Drohnen auf Defekte abgesucht werden. Oder zu Transportzwecken: So könnte man Luftkorridore definieren, in welchen bei Notfällen Blutkonserven oder Spenderorgane sicher transportiert werden können. «Innerhalb dieses Korridors könnte die Drohne selbständig die schnellste und sicherste Flugroute finden.»

Filmsets voller Drohnen

Doch zurück zum Film: Wie wird die Technologie diesen längerfristig verändern? Werden bald mehrminütige Szenen ausschliesslich mit Drohnen gefilmt werden? «Ich sehe keinen Grund, weshalb nicht», sagt Nägeli. «Schon heute kann man 50 Drohnen synchronisieren. Mit unserem Algorithmus könnten alle so programmiert werden, dass sie genau diejenigen Bilder schiessen, die vom Regisseur gewünscht werden.» Also zum Beispiel den heldenhafte Kampf auf dem fahrenden Zug in «Skyfall» ohne Kameraaufbauten und ohne Heer von Kameraleuten filmen? «Aktuell steckt der Algorithmus noch in den Kinderschuhen», erklärt Nägeli. «Aber bei entsprechenden Investitionen in die Technologie und mit einem engagierten Team könnten wir in ein bis zwei Jahren soweit sein.»