Wer am Ende entscheidet

Waldbrände geraten zusehends ausser Kontrolle, wie die jüngsten Beispiele in Kalifornien oder Australien zeigen. Viele Feuerwehrleute kämpfen unermüdlich gegen die Flammen – doch längst nicht nur mit Wasser oder kontrolliertem Gegenfeuer. Die Digitalisierung hat auch hier Einzug gehalten. Geoinformationssysteme, Webcams oder Drohnen sind mittlerweile wichtige Pfeiler bei der Bekämpfung und Vorhersage von Waldbränden. Doch wo viele Daten generiert werden, stösst die menschliche Expertise schnell an ihre Grenzen. «KI lohnt sich immer, wenn es viele Daten gibt», sagt Benjamin Scharte, Leiter des Risiko- und Resilienz-Teams am Center for Security Studies (CSS) der ETH Zürich. Gemeinsam mit seinem Mitarbeiter Kevin Kohler hat er den Einsatz von KI im Bevölkerungsschutz analysiert.

«Spannend wird es, wenn man mit Algorithmen Vorhersagen machen kann», ergänzt Kohler. In welche Richtung entwickelt sich die Feuerfront? An welchen Stellen braucht es jetzt ein kontrolliertes Gegenfeuer? Zur Beantwortung solcher Fragen können mit KI-basierten Modellierungstools alle vorhandenen Daten zusammengefasst werden – von der Wettervorhersage über die Dauer der Dürre oder die Windrichtung bis hin zur Menge an möglichem Brennstoff. Dank der Vorhersage kann die Krisenreaktion effizienter erfolgen. Im Idealfall dient die Vorhersage sogar als Prävention.

KI hat im Bevölkerungsschutz auch einen besonderen Stellenwert, weil unter Umständen jede Minute zählt oder es um Leben und Tod geht. Wenn Experten innerhalb kürzester Zeit eine weitreichende Entscheidung treffen müssen, sind sie dankbar für jede Hilfe, die die Entscheidung auf besseren Daten basieren lässt. Wichtig dabei ist allerdings die Qualität der Daten. «Mein Algorithmus kann noch so klug sein, wenn ich ihn nicht mit den passenden Daten für die Krise füttern kann, dann bringt er mir im Ernstfall wenig», gibt Kohler zu bedenken.

Selbst wenn die Daten optimal sind, langjährige Erfahrung von Experten ersetzen sie nie gänzlich. So ist die Frage, ob Mensch oder Maschine die finale Entscheidung treffen soll, sehr komplex. Es kann sein, dass der Algorithmus über alle Fälle hinweg einen geringeren finanziellen Schaden oder eine geringere Anzahl an Verletzten bringt als der Mensch, aber im Einzelfall eine Entscheidung trifft, die uns nicht akzeptabel erscheint. «Dann werden wir uns auch in Zukunft als Gesellschaft schwertun, die Entscheidung einer autonomen Maschine zu überlassen», ist Scharte überzeugt.

Eine Sache des Vertrauens

Es stellt sich die Frage, ab wann wir die autonome Entscheidungsfindung einer Maschine akzeptieren. Scharte und Kohler sind sich einig: «Im Bereich Bevölkerungsschutz, bei dem es mitunter um Leben und Tod geht, sollte der Mensch in die Entscheidungsfindung involviert sein und es sollte keine gänzlich autonomen Entscheidungen geben.»

Dabei spielt das Vertrauen in den Algorithmus eine ganz zentrale Rolle. Denn mit dem Vertrauen kommt die Akzeptanz. Beides wird erhöht, wenn ein Algorithmus nachvollziehbar ist. Wenn zum Beispiel eine Ärztin nachvollziehen kann, wie ein Algorithmus funktioniert, wird sie ihm mehr vertrauen und ihn bei ihrer Arbeit eher einsetzen. Das zeigen zahlreiche Studien. Allerdings gibt Scharte zu bedenken: «Die transparente Nachvollziehbarkeit erhöht nicht zwingend die Sicherheit.» Bei «man-made hazard», wie etwa Cyberkriminalität oder Terrorismus, könne die Nachvollziehbarkeit sogar ein Nachteil sein. «Ist öffentlich nachvollziehbar, wie ein Algorithmus verdächtige Verhaltensmuster bewertet, kann er einfacher böswillig ausgetrickst werden», warnt der Sicherheitsexperte.