Ilya Sutskever, Mitbegründer von OpenAI, sagt, dass sich die Art und Weise, wie KI aufgebaut wird, bald ändern wird

Der Mitbegründer und ehemalige Chefwissenschaftler von OpenAI, Ilya Sutskever, sorgte Anfang des Jahres für Schlagzeilen nachdem er gegangen war um sein eigenes KI-Labor zu eröffnen Safe Superintelligence Inc. Seit seinem Weggang hat er das Rampenlicht gemieden, hatte aber am Freitag in Vancouver auf der Conference on Neural Information Processing Systems (NeurIPS) einen seltenen öffentlichen Auftritt.

„Das Vortraining, wie wir es kennen, wird zweifellos enden“, sagte Sutskever auf der Bühne. Dies bezieht sich auf die erste Phase der KI-Modellentwicklung, in der ein großes Sprachmodell Muster aus riesigen Mengen unbeschrifteter Daten lernt – typischerweise Text aus dem Internet, Büchern und anderen Quellen.

Während seines NeurIPS-Vortrags sagte Sutskever, dass er zwar glaubt, dass vorhandene Daten die KI-Entwicklung weiter voranbringen können, die Branche jedoch auf neue Daten zurückgreift, um darauf zu trainieren. Diese Dynamik werde letztendlich zu einer Abkehr von der Art und Weise führen, wie Modelle heute trainiert werden, sagte er. Er verglich die Situation mit fossilen Brennstoffen: So wie Öl eine endliche Ressource ist, enthält das Internet eine begrenzte Menge an von Menschen erstellten Inhalten.

„Wir haben Spitzenwerte erreicht und es wird keine mehr geben“, so Sutskever. „Wir müssen mit den Daten umgehen, die wir haben. Es gibt nur ein Internet.“

Er prognostizierte, dass Modelle der nächsten Generation „im wahrsten Sinne des Wortes aggressiv sein werden“. Agenten sind zu einem echten Schlagwort geworden im KI-Bereich. Während Sutskever sie in seinem Vortrag nicht definierte, werden sie allgemein als autonomes KI-System verstanden, das eigenständig Aufgaben ausführt, Entscheidungen trifft und mit Software interagiert.

Er sagte, dass künftige Systeme nicht nur „agentisch“ sein, sondern auch in der Lage sein werden, zu argumentieren. Im Gegensatz zur heutigen KI, die Musterübereinstimmungen hauptsächlich auf der Grundlage dessen vornimmt, was ein Modell zuvor gesehen hat, werden zukünftige KI-Systeme in der Lage sein, Dinge Schritt für Schritt auf eine Art und Weise zu erarbeiten, die eher mit dem Denken vergleichbar ist.

Je mehr ein System argumentiert, „desto unvorhersehbarer wird es“, so Sutskever. Er verglich die Unvorhersehbarkeit „wirklich denkender Systeme“ damit, wie fortschrittliche KIs, die Schach spielen, „für die besten menschlichen Schachspieler unvorhersehbar sind“.

„Sie werden Dinge anhand begrenzter Daten verstehen“, sagte er. „Sie werden sich nicht verwirren lassen.“

Auf der Bühne zog er einen Vergleich zwischen der Skalierung von KI-Systemen und der Evolutionsbiologie und zitierte Forschungsergebnisse, die den Zusammenhang zwischen Gehirn- und Körpermasse verschiedener Arten zeigen. Er stellte fest, dass die meisten Säugetiere zwar einem Skalierungsmuster folgen, Hominiden (menschliche Vorfahren) jedoch auf logarithmischen Skalen eine deutlich unterschiedliche Steigung ihres Gehirn-zu-Körper-Massenverhältnisses aufweisen.

Er schlug vor, dass, so wie die Evolution ein neues Skalierungsmuster für das Gehirn von Hominiden gefunden hat, die KI möglicherweise auch neue Ansätze zur Skalierung entdecken könnte, die über die heutige Funktionsweise des Vortrainings hinausgehen.

Nachdem Sutskever seinen Vortrag beendet hatte, fragte ihn ein Publikum, wie Forscher die richtigen Anreizmechanismen für die Menschheit schaffen können, um KI auf eine Weise zu schaffen, die ihr „die Freiheiten gibt, die wir als Homosapiens haben“.

„Ich denke, in gewisser Weise sind das die Art von Fragen, über die die Leute mehr nachdenken sollten“, antwortete Sutskever. Er hielt einen Moment inne, bevor er sagte, dass er sich „nicht sicher fühle, Fragen wie diese zu beantworten“, da dies eine „von oben nach unten gerichtete Regierungsstruktur“ erfordern würde. Der Zuschauer schlug Kryptowährung vor, was andere im Raum zum Lachen brachte.

„Ich glaube nicht, dass ich die richtige Person bin, um Kryptowährungen zu kommentieren, aber es besteht die Möglichkeit, dass Sie das tun [are] Beschreibung wird passieren“, sagte Sutskever. „Wissen Sie, in gewisser Weise ist es kein schlechtes Endergebnis, wenn man KIs hat und diese nur mit uns koexistieren und auch einfach nur Rechte haben wollen. Vielleicht ist das in Ordnung … Ich denke, die Dinge sind so unglaublich unvorhersehbar. Ich zögere, einen Kommentar abzugeben, aber ich ermutige Spekulationen.“