Wie es KI-Modelle schaffen, sich selbst neue Dinge beizubringen

Sie sagen also, dass das Modell sich selbst eine Technik beibringt, um neue Dinge zu lernen?
Ja, das ist überraschend, aber wahr. Einfach aus dem Zwang heraus, die eigenen Vorhersagen zu verbessern, entwickelt es während des Trainings eine Technik, die es dem Modell ermöglicht, zum Beispiel aus den Gesprächen mit seinen Nutzern zu lernen. Diese Art des Lernens bezeichnen wir als In-Context-Learning.

Alles, was diese Modelle erhalten, ist eine kurze Texteingabe. Wie nutzen Transformer diese wenigen Informationen, um ihr Ergebnis zu optimieren?
Eine Möglichkeit besteht darin, eine Art “Modell der Welt” zu erlernen, mit dem man Vorhersagen treffen kann. Unsere Arbeit zeigt, dass dies Transformer vielleicht tun. Interessant ist, dass dieses Lernen innerhalb eines Modells stattfindet, das bereits trainiert ist. Normalerweise müsste man beim Lernen die Verbindungen im neuronalen Netz des Modells ändern. Wir haben gezeigt, dass Transformer-Modelle stattdessen in der Lage sind, denselben Lernprozess innerhalb einer festen neuronalen Architektur zu simulieren.

Wie kommt diese Fähigkeit bei Transformern zustande?
In unserer Arbeit stellten wir die Hypothese auf, dass die Architektur des Transformers grundsätzlich dazu neigt, zu lernen. Das bedeutet im Grunde, dass die Fähigkeit, diese Lernmechanismen zu entwickeln, implizit im Design eingebaut ist, noch bevor das Modell trainiert wird.

GPT-3, das Modell hinter ChatGPT, hat 175 Milliarden Parameter. Wie kann man ein so grosses System untersuchen?
Einige Forschende verfolgen einen psychologischen Ansatz und analysieren, wie die Modelle reagieren, wenn sie mit standardisierten Tests oder widersprüchlichen Situationen wie moralischen Dilemmas konfrontiert werden. Wir haben dieses System mechanistisch untersucht, wie Neurowissenschaftler, könnte man sagen. Da unser Modell auf einem Computer läuft, sind wir in der Lage, jedes Neuron und jede Verbindung in dem neuronalen Netzwerk aufzuzeichnen - etwas, das bei der Untersuchung des biologischen Gehirns von Tieren oder Menschen undenkbar wäre. Jedoch ist uns die Untersuchung der Systeme auf dieser Ebene von einzelnen Neuronen und kleinen Netzwerken derzeit auch nur möglich, wenn man sehr spezifische Phänomene auf relativ kleinen Architekturen untersuchen will.

Wie sieht das System aus, das Sie in Ihrer Arbeit verwendet haben?
Der von uns verwendete Transformer ist fast identisch mit der weit verbreiteten Transformer-Architektur. Anstatt unser System mit grossen Textmengen aus dem Internet zu trainieren, haben wir es mit Beispielen eines einfachen Problems trainiert, der linearen Regression. Da dieses Problem und seine Lösung sehr gut bekannt sind, konnten wir diese Lösung mit dem vergleichen, was wir im Transformer beobachtet haben. So konnten wir nachweisen, dass der Transformer einen sehr bekannten und leistungsstarken Lernalgorithmus namens «Gradient Descent» in sich selbst implementiert.

Könnte es auch sein, dass Verhaltensweisen auftauchen, die für die Informatik völlig neu sind?
Das könnte passieren. In unserem Fall hat der Transformer nicht einfach «Gradient Descent» gelernt und durchgeführt, sondern eine verbesserte Version davon. Jetzt haben zwei unabhängige Studien des MIT und der UC Berkeley den Algorithmus analysiert, den der Transformer gelernt hat. Ein langfristiges Ziel solcher Forschung könnte auch sein, festzustellen, ob Transformer-Algorithmen entdecken oder sogar Theoreme beweisen und Mathematik entwickeln können, die wir noch nicht kennen. Das wäre ein Meilenstein und wirklich bahnbrechend.