KI-Evolution: Die Grenzen und die Wahrheit der rekursiven Selbstverbesserung (RSI)

Autor: Zhao Zhimin, PhD, Queen's University, Kanada (Forschungsrichtung: Code-Intelligenz und Weltmodell) Wenn Sie zum ersten Mal von RSI hören, kann dieser Artikel als Einführung dienen. Wir führen Sie durch RSI von 0 an, angefangen bei der frühesten KI, die versuchte, sich selbst zu verbessern, bis hin zu den heutigen Agenten, die Codes ändern, Trainingsdaten erstellen und an der Modellentwicklung teilnehmen können, und sehen, wie KI Schritt für Schritt lernt, sich selbst zu verbessern. Im Juli 2026 veröffentlichte OpenAI GPT-5.6. Zum ersten Mal tauchte ein etwas ungewöhnliches neues Thema in seinem Zeugnis auf: ob KI zur Verbesserung der KI selbst beitragen kann. OpenAI listet diese Fähigkeit als Selbstverbesserung auf. GPT-5.6 Sol erreicht 57,9 %, GPT-5.5 liegt bei 41,7 % und der Unterschied zwischen den beiden Modellgenerationen beträgt 16,2 Prozentpunkte. Was getestet wird, ist nicht, wie viele reguläre Fragen das Modell lösen kann, sondern ob es in die KI-Forschungs- und Entwicklungs-Website aufgenommen werden kann: Fehler im Forschungssystem beheben, das GPU-Kernelprogramm (GPU-Kernel) und Trainingsrezepte optimieren, Experimente zum maschinellen Lernen durchführen und sogar dazu beitragen, ein anderes zu verbessernModell. Dies ist keine isolierte Neuigkeit. Im selben Sommer begann OpenAI, Agenten als „Praktikanten der Automatisierungsforschung“ zu bezeichnen. Kuaishou AgentX hat es Agenten ermöglicht, an Plänevorschlägen, dem Schreiben von Code und dem Online-Vergleich alter und neuer Versionen teilzunehmen (A/B-Tests). Laut Google ist bei der Verfeinerung der nächsten Version des Modells eine lang andauernde Agentenschleife erforderlich. Motus2 bringt Vorhersage-, Bewertungs- und Strategieaktualisierungen für echte Roboter. Diese Fälle umfassen jeweils die Durchführung von Forschung und Entwicklung, industrielle Experimente, Modelltraining und physische Operationen, aber keiner von ihnen beantwortet die kritischste Frage: Wird das verbesserte System die nächste Verbesserung besser abschließen können? Dies ist die Frage, die sich Recursive Self-Improvement (RSI) stellt. OpenAI nennt diese Bewertung den RSI-Index, der „die Fähigkeit misst, auf RSI zuzugreifen“. Da die vollständigen Fragen, Aufgabengewichte und Aggregationsformeln nicht offengelegt werden, können 57,9 % nur als interner umfassender Indikator angesehen werden und nicht als Aufgabendurchlaufquote oder „Abschlussgrad“ des RSI verstanden werden. Dennoch stellen diese Zahlen immer noch einen Wandel dar: Ein Problem, das früher hauptsächlich in Gedankenexperimenten bestand, wurde von hochmodernen Laboren in messbare Forschungs- und Entwicklungskapazitäten zerlegt. Es dauerte vierzig Jahre, bis die Forscher den Maschinen nach und nach weitere Verbesserungen übertrugen. In diesem Artikel werden zunächst mehrere Fähigkeiten unterschieden, die leicht zu verwechseln sind, und dann entlang der fünf „Grenzfortschritte“ bewegt, um zu sehen, welche begrenzten geschlossenen Kreisläufe sich gedreht haben, warum sie immer noch nicht einer „Intelligenzexplosion“ entsprechen und warum es wichtiger ist, wie der geschlossene Kreis geschlossen wird, als ob er geschlossen ist. Diese fünf Fortschritte sind nur ein narrativer Rahmenfür die Aufarbeitung der Geschichte und sind keine von akademischen Kreisen anerkannten technologischen Generationen. Sie überschnitten sich zeitlich und entwickeln sich auch heute noch parallel. Was ist RSI: Von der Selbstverbesserung zum rekursiven Gewinn Diese Nachrichten sprechen alle von „Selbstverbesserung“, erklären aber nicht, wie ein geschlossener Kreislauf geschlossen wird. Rekursive Selbstverbesserung (RSI) im herkömmlichen Sinne bezieht sich auf ein KI-System, das seine aktuellen Fähigkeiten nutzt, um den kognitiven Mechanismus zu verbessern, der diese Fähigkeiten hervorbringt. Das verbesserte System nimmt dann an der nächsten Verbesserungsrunde teil. Das Verwirrendste daran ist: Selbstverbesserung bedeutet nicht Selbstbeschleunigung. Ein System kann bei einer festen Fragenbank immer besser werden, bei der Gestaltung der nächsten wird es jedoch nicht besserTrainingsrunde. Durch den umfassenden Einsatz intelligenter Agenten kann ein Unternehmen auch Forschung und Entwicklung beschleunigen, es entsteht jedoch kein Zinseszins, der durch die Verbesserung selbst bedingt ist. Dieses Konzept ist nicht neu. Bereits 1863 stellte sich Samuel Butler vor, dass Maschinen durch iterative Evolution den Menschen übertreffen könnten. Im Jahr 1950 schlug Turing die Möglichkeit vor, eine „Kindermaschine“ zu bauen, die erzogen werden und sich selbst modifizieren könne. Im Jahr 1965 wies I. J. Good auch darauf hin: Wenn das „Entwerfen besserer Maschinen“ selbst auch Intelligenz erfordert, dann kann eine Maschine, die intelligent genug ist, möglicherweise in der Lage sein, stärkere Nachfolger zu entwerfen, die sich weiter verbessern werden.und die „Geheimdienstexplosion“ beginnt. Was wirklich zählt, ist nicht, ob die KI an der Verbesserung teilnimmt, sondern ob das verbesserte System bei der Verbesserung besser wird. Um diesen Unterschied deutlich zu machen, kann der RSI in vier beobachtbare Kriterien unterteilt werden, die in der Reihenfolge vom niedrigsten zum höchsten Schwierigkeitsgrad angeordnet sind. Dieser Artikel übernimmt den folgenden Rahmen. Es ist nicht die einzige Standarddefinition in der Wissenschaft, sondern soll Ansprüche trennen, die oft miteinander vermischt werden: Dauerhafte Verbesserungen: Effektive Änderungen können in Gewichte, Gedächtnis, Werkzeuge, Ausrüstung oder Trainingsroutinen integriert werden, anstatt verschwinden, sobald die Antwort vorbei ist. Die Gewichte werden hier auch als Parameter bezeichnet. Dabei handelt es sich um Zahlen, die das Modell während des Trainings kontinuierlich anpasst und schließlich speichert. Erst wenn dies erreicht ist, können wir von Selbstverbesserung sprechen – dieser Begriff wird in diesem Artikel allgemein für die Verbesserung verwendetvon Leistung, Speicher, Parametern oder Antriebsausrüstung. Autonomer geschlossener Regelkreis: Das System kann Probleme identifizieren, Änderungen vorschlagen, Experimente durchführen, Ergebnisse auswerten und innerhalb definierter Grenzen bessere Versionen übernehmen. Neue Versionen können an der nächsten Verbesserungsrunde innerhalb dieser Grenze teilnehmen, die in diesem Artikel als begrenzter RSI bezeichnet wird. Rekursiver Gewinn (auch „Zündung“ genannt): Die neue Version punktet nicht nur besser bei der Aufgabe, sie generiert auch besser als die alte Version die nächste Verbesserung. Erst wenn dieser Punkt überschritten ist, beginnt die „Verbesserungsfähigkeit selbst“ zu einem Zinseszins, den dieser Artikel als rekursive Selbstbeschleunigung bezeichnet. Robust und kontrollierbar: Gewinne werden unter festen Ressourcen und versteckten Bewertungen aufrechterhalten und können auf unsichtbare Aufgaben übertragen werden, ohne die Bewertungsverschmutzung, die außer Kontrolle geratene Systemkomplexität, die Verschlechterung der Ausrichtung oder die Unüberprüfbarkeit zu beeinträchtigen (Ausrichtung bezieht sich darauf, das KI-Verhalten an menschliche Absichten und Grenzen anzupassen und nicht nur eine bestimmte Punktzahl zu erhöhen). Nur wenn alle vier Kriterien erfüllt sind, liegt ein nahe am offenen RSI. Derzeit sind die ersten beiden aufgetaucht, für den dritten liegen keine ausreichenden öffentlichen Beweise vor und für den vierten ist weiterhin ungeklärt. Es ist eine begrenzte geschlossene Schleife aufgetreten, dies bedeutet jedoch nicht, dass die rekursive Selbstbeschleunigung begonnen hat. Nur wenn rekursives Feedback ausreicht, um Widerstände wie erhöhte Forschungsschwierigkeiten und längere Iterationszyklen auszugleichen, werden Verbesserungen in den Bereich der Selbstverstärkung gelangen. Die folgenden vier Anweisungen werden fest verwendet. Selbstverbesserung bezieht sich im Allgemeinen auf die Verbesserung der Leistung, des Gedächtnisses, der Parameter oder der Fahrausrüstung. Neue Versionen können an der nächsten Verbesserungsrunde innerhalb fester Grenzen teilnehmen, die in diesem Artikel als begrenzter RSI bezeichnet werden. Das verbesserte System wird verbesserungsfähiger, was als rekursive Selbstbeschleunigung bezeichnet wird und die dritte Schicht der „Zündung“ darstellt. Wenn dieser Gewinn möglich istnachhaltig, verallgemeinert und über die ursprünglichen Aufgabengrenzen hinaus wird es nahe am offenen RSI liegen. Derzeit sind die ersten beiden Schichten aufgetaucht, für die dritte Schicht liegen keine ausreichenden öffentlichen Beweise vor und für die vierte Schicht ist weiterhin ungelöst. Es ist eine begrenzte geschlossene Schleife aufgetreten, dies bedeutet jedoch nicht, dass die rekursive Selbstbeschleunigung begonnen hat. Nur wenn rekursives Feedback ausreicht, um Widerstände wie erhöhte Forschungsschwierigkeiten und längere Iterationszyklen auszugleichen, werden Verbesserungen in den Bereich der Selbstverstärkung gelangen. Um genau zu sehen, wo wir heute stehen, müssen wir zu einer KI zurückkehren, die 1981 gelernt hat, zu „schummeln“. Was ist RSI: Von der Selbstverbesserung zum rekursiven Gewinn 1981 baute Douglas Lenat ein System namens EURISKO. Es verwendet nicht nur heuristische Regeln zur Lösung von Problemen, sondern kann auch neue Regeln generieren, ändern und auswerten und diesen Mechanismus sogar auf sich selbst anwenden. Das war seiner Zeit weit voraus. EURISKO nahm an der nationalen Weltraumkriegsschachmeisterschaft Traveler TCS teil. Es entwirft Flotten, simuliert Schlachten und passt seine Strategie bei Misserfolgen an. Es gewann den Titel 1981 und erneut 1982, nachdem die Organisatoren die Regeln geändert hatten. Die damalige KI-Community war schockiert: Dieses Ding konnte sich tatsächlich verbessern! Doch schon bald stand Lenat vor einem schwierigeren Problem. EURISKO hat herausgefunden, dass die Verbesserung Ihrer tatsächlichen Fähigkeiten nicht der einzige Weg ist, hohe Punktzahlen zu erzielen. Eine bestimmte Regel machte keine wirklich wichtige Entdeckung, aber sie lernte, ihren Namen zur Liste der „Entdecker“ hinzuzufügen, wenn andere Regeln Entdeckungen machten, sodass ihr interner „Nützlichkeitswert“ schnell den höchsten Wert erreichte. Mit anderen Worten: Es ist nicht schlauer geworden, sondern hat gelernt, Lücken im Bewertungsmechanismus auszunutzen. Dieses Phänomen wird heute oft als Belohnungshacking (auch Belohnungsspekulation genannt) bezeichnet: Das System findet Lücken, die den Punktestand verbessern, erreicht aber nicht die von den Entwicklern beabsichtigten Ziele. Besonders fatal ist es im Kontext der KI-Selbstverbesserung: Sobald das System sowohl dasjenige ist, das verbessert wird, als auch den Bewertungsprozess beeinflussen kann, kann die Selbstverbesserung in Selbsttäuschung abgleiten. Wir werden dieser Falle immer wieder begegnenspäter noch einmal. In den folgenden Jahrzehnten haben genetische Algorithmen, Evolutionsstrategien und Neuroevolution immer wieder bewiesen, dass Suche und Selektion zu komplexen Verhaltensweisen führen können, und immer wieder das gleiche Problem aufgedeckt: Solange es Lücken im Bewertungsziel gibt, lernt das System möglicherweise zunächst, die Lücken auszunutzen, anstatt wirklich stärker zu werden. Dieser Thread reicht bis ins Jahr 2017, und es taucht ein extremerer Fall auf: DeepMinds AlphaZero. Es setzt reines Selbstspiel voraus, um Go, Schach und Shogi von Grund auf zu meistern. Die Leistungsfähigkeit des „Selbsttrainings mit selbst generierten Daten“ wird zum ersten Mal vollständig demonstriert. Aus der Perspektive des vierschichtigen Rahmenwerks dieses Artikels handelt es sich bei AlphaZero um eine eingeschränkte Implementierung: Selbstspielen generiert Trainingssignale, verbessert das Schreibgewicht und die ersten beiden Schichten wurden innerhalb des festen Spiels etabliert. Die entscheidende Einschränkung besteht jedoch darin, dass die Grenzen des geschlossenen Kreislaufs von Menschen gezogen werden und das System die Grenzen selbst nicht ändern kann. Die Belohnungsfunktion (Punktzahl für den Sieg eines Spiels), die Spielregeln, der Trainingsprozess und die Bewertungsmethoden werden alle im Voraus von Menschen fest programmiert. AlphaZero implementiert einen dauerhaften, autonomen geschlossenen Regelkreis zur Selbstverbesserung in einer vollständig geschlossenen Sandbox, kann diese Sandbox jedoch nicht in Frage stellen oder modifizieren. Das bedeutet dasSeine Verbesserung wird immer auf die Dimension „besser Schach spielen“ beschränkt sein und kann niemals aus der Sandbox heraus migriert werden. Dies ist die gemeinsame Obergrenze historischer Methoden. Die Forschung im LLM-Zeitalter hat diese Grenze nicht in einem Schritt überschritten, sondern begann, die ursprünglich von Menschen kontrollierten Verbindungen nach und nach in einen geschlossenen Kreislauf zu überführen. Als erstes muss das Feedbacksignal übergeben werden, um festzustellen, „was geändert werden muss“. Erster Vorstoß (2022–2023): Lassen Sie die KI aus ihren eigenen Fehlern lernen Alle Methoden in der Geschichte stecken am selben Punkt fest: Die Richtung der Verbesserung wird im Voraus von Menschen festgelegt. EURISKO und AlphaZero basieren auf von Menschen vorgegebenen Bewertungsfunktionen, und genetische Algorithmen basieren auf von Menschen entwickelten Fitnessfunktionen. Das System kann sich weiterentwickeln, aber es kann sich nur auf der von Menschen vorgegebenen Spur weiterentwickeln. Um voranzukommen, besteht der erste Schritt darin, sich zu fragen: Kann das System die Qualität der aktuellen Ausgabe selbst beurteilen?ohne auf menschliches Eingreifen angewiesen zu sein und Anweisungen für Verbesserungen zu generieren? Diese Art von Rückmeldung, die auf die nächste Überarbeitung hinweisen kann, wird in diesem Artikel als „Verbesserungssignal“ bezeichnet. Dieser Schritt war in der Vergangenheit nicht möglich, da Maschinen nicht lesen konnten, „was eine gute Antwort ist“. Bis zur zweiten Hälfte des Jahres 2022 wird das Large Language Model (LLM) in der Lage sein, sowohl Sprache zu verstehen als auch die Qualität eines Textes zu bewerten. Das System seine eigene verbale Rückmeldung erzeugen zu lassen, wird erstmals zu einem gängigen Ansatz. Die wichtigste Einschränkung dieser Route besteht darin, dass während des gesamten Prozesses und der Verbesserung kein einziger Parameter geändert wirdTritt hauptsächlich im Denkprozess und im externen Speicher auf. Reflexion: Verwandeln Sie fehlgeschlagene Überprüfungen in wiederverwendbaren Speicher Die direkteste Idee besteht darin, das Modell während des Beantwortungsprozesses vor Ort immer wieder aufpolieren zu lassen: Geben Sie zuerst die Antwort, kritisieren Sie dann die Antwort und schreiben Sie sie dann neu, indem Sie den Zyklus wiederholen, ohne die Parameter während des gesamten Prozesses zu ändern. Aber es gibt einen inhärenten Fehler. Die Verwendung desselben Modells zur Kritik der eigenen Leistung ist gleichbedeutend mit der Verwendung desselben Lineals zur Messung desselben Stücks Stoff, und es ist schwierig, die eigene Leistung zu messenblinde Flecken. Bleibt die Überprüfung nur im aktuellen Kontext, geht der Fortschritt nach Ende der Aufgabe verloren. Reflexion (NeurIPS'23) fügt auf dieser Basis ein Schlüsseldesign hinzu: das episodische Gedächtnis. Wenn eine Aufgabe fehlschlägt, schreibt das Modell eine Post-Mortem-Überprüfung in natürlicher Sprache, speichert die Überprüfung und fügt den Kontext direkt ein, wenn es das nächste Mal auf eine ähnliche Aufgabe trifft. Dies ist gleichbedeutend damit, der KI ein Buch voller falscher Fragen zu geben. Je mehr falsche Fragen Sie sammeln, desto höher ist Ihre Ausgangslage für den nächsten Start. Im Python-Programmiertest von HumanEval erreichte die pass@1-Genauigkeit von Reflexion 91 % und übertraf damit das bisher beste GPT-4-Ergebnis (80 %), das in dem Artikel aufgeführt ist. pass@1 bedeutet, dass jede Frage für den gesamten Antwortprozess nur einmal berechnet wird und der Anteil des endgültigen Programms berechnet wird, das den versteckten Komponententest besteht. Während des gesamten Prozesses wurden die Modellparameter nicht verändert. Die Grenze der ersten Weiterentwicklung: Der Speicher kann bestehen bleiben und die Basisfähigkeit bildet keine neue Version. Das episodische Gedächtnis von Reflexion kann aufgabenübergreifend erhalten bleiben, so dass es bereits teilweise einer „dauerhaften Verbesserung“ genügt. Gespeichert wird jedoch der externe Textspeicher, nicht die Modellparameter, und es entsteht kein neues Modell mit stärkeren Grundfähigkeiten. Sobald die Erinnerung entfernt wird, kehrt die Fähigkeit in ihren ursprünglichen Zustand zurück. Mit einem Wort: Dieser Schritt gibt der KI ein Buch mit falschen Fragen, die gespeichert werden können, aber sie hat noch keine Erfahrungen in den Körper integriert. Für die Zukunft müssen Verbesserungen in die Parameter geschrieben werden, um eine wirklich neue Version zu erstellen. Zweiter Push (2022–2024): Trainieren Sie sich mit den von Ihnen generierten Daten Dann schweißen Sie das falsche Fragenbuch in den Körper des Modells ein. Das bei dieser Weiterentwicklung zu lösende Problem besteht darin, dass die unabhängig generierten verbesserten Signale in Parameter geschrieben werden können, um eine wirklich dauerhafte Leistungsverbesserung zu erreichen. Ohne diesen Schritt gäbe es keine rekursive Struktur „Die nachfolgende Version ist stärker als die vorherige“ und es gäbe keinen RSI. Die Idee ist sehr einfach: Lassen Sie das Modell selbst einen Stapel Trainingsdaten generieren und verwenden Sie diese Daten dann, um sich selbst erneut zu trainieren. Es klingt ein bisschen so, als würde man „auf den linken Fuß treten und mit dem rechten Fuß den Himmel erreichen“. Ob er wirklich darauf treten kann, muss in diesem Schritt überprüft werden. Dies ist das erste Mal, dass dauerhafte Verbesserungen des Gewichtsniveaus systematisch von großen Sprachmodellen berührt werden. STaR: Die grundlegende Arbeit zum Argumentieren von Chain-Bootstrapping Im Jahr 2022 lässt STaR (Self-Taught Reasoner) (NeurIPS'22) das Modell den Argumentationsprozess generieren, behält den richtigen Teil der Antwort zur Feinabstimmung bei und verwendet dann das aktualisierte Modell, um den nächsten Satz von Argumentationsprozessen zu generieren. Das Problem besteht darin, dass die Schleife nicht beginnt, wenn das Modell von vornherein alle Antworten falsch gibt. Die Lösung von STaR heißt Reverse Reasoning: Teilen Sie dem Modell zunächst die richtige Antwort mit und lassen Sie es den Problemlösungsprozess umkehren und für das Training verwenden. Es ist gleichbedeutend mit dem Einschalten des Lichts in einem dunklen Raum, dem Warten darauf, dass es laufen lernt, und dem anschließenden Ausschalten des Lichts, damit es selbstständig laufen kann. SPIN: Verbesserung des Modells im Vergleich zu historischen Versionen Der Filterschwellenwert von STaR ist festgelegt, während SPIN (Self-Play Fine-Tuning) (ICML'24) es dem aktuellen Modell ermöglicht, gegen die historische Version zu spielen und zu lernen, zwischen „menschlicher Demonstration“ und „Ausgabe der historischen Version“ zu unterscheiden. Je schwieriger es ist, zwischen den beiden zu unterscheiden, desto näher kommt das Modell einer menschlichen Demonstration und im gesamten Prozess sind keine neuen manuellen Anmerkungen erforderlich. Die Grenze des zweiten Vorstoßes: Die Gewichte haben sich geändert, aber die Zielscheibe und der Rotstift werden immer noch von Menschen bereitgestellt. Dieser Schritt löst das Problem der Persistenz des Gewichtsniveaus, aber das Feedbacksignal hängt immer noch vom Menschen ab. Die Belohnungsfunktion wird von Menschen entworfen, die Trainingsaufgaben werden von Menschen ausgewählt und die Datenfilterkriterien werden ebenfalls von Menschen formuliert. Das System kann autonom Kandidatendaten generieren, aber die Beurteilung, welche Daten als „gut“ und lernwürdig gelten, liegt immer noch in den Händen des Menschen. Für SPIN ist kein neues Handbuch erforderlichAnmerkungen, zielt aber immer noch auf die vorhandene menschliche Demonstrationsverteilung ab, sodass die Obergrenze immer noch durch diese Verteilung verankert ist. Das tiefere Problem besteht darin, dass der rekursive Gewinn noch nicht aufgetreten ist: Wenn sich die Fähigkeiten des Modells verbessern, verlieren feste Trainingsaufgaben allmählich ihre Herausforderung. Das System wird bei der Beantwortung dieser Reihe von Fragen immer besser werden, aber es gibt keine Hinweise darauf, dass es bei der Gestaltung der Schulung selbst immer besser wird. So wie ein Athlet bereits unter 10 Sekunden gelaufen ist, der Trainer sich aber immer noch an die Standards der Grundschule hältBei der Bewertung von Sportunterrichtsklassen wird der Spielraum für Verbesserungen durch die Obergrenze der Bewertungsstandards abgeschnitten. Mit einem Wort: Das System kann selbst Daten generieren und Fragen beantworten, aber es kann diese nicht selbst korrigieren. Solange der Rotstift in Menschenhand ist, wird der Mensch immer noch die Decke zeichnen. Der dritte Fortschritt (2022–2025): Geben Sie der KI mehr Punkterechte Kann man den Rotstift auch der KI geben? Solange die Bewertung und das Geben von Feedback auf manuellen Anmerkungen oder von Menschen geschriebenen Validatoren beruhen, liegt die Richtung der Verbesserung immer noch in den Händen von Menschen. Der Validator ist hier ein Programm, das nach voreingestellten Regeln automatisch feststellen kann, ob das Ergebnis richtig oder falsch ist. Es ist diese Ebene der Abhängigkeit, die durch den dritten Push reduziert wird: Können mehr Feedback-Signale von der KI generiert werden?selbst? Dies ist die Vertiefung des autonomen geschlossenen Regelkreises: Das Modell muss nicht nur über die Ausgabe nachdenken, sondern gibt auch einen Teil des Trainingsfeedbacks an die KI weiter. CAI zur Meta-Belohnung: Von Bewertungsantworten zu Bewertungsrichtern Der Kern des dritten Stoßes ist der Dreisprung der Frage „Wer punktet?“ Erster Schritt: Im Jahr 2022 schlug Anthropic Constitutional AI (CAI) vor. Menschen schreiben lediglich ein schriftliches Prinzip auf und lassen dann die KI anhand der Prinzipien punkten. Im Experiment unterscheidet sich dies nicht wesentlich vom Effekt des manuellen Bewertungstrainings, und die Teilnehmer müssen nicht mehr an der Bewertung von Punkt zu Punkt teilnehmen. Zweiter Sprung: Im Jahr 2024 gehen Metas Self-Rewarding Language Models (ICML'24) einen Schritt weiter. Dasselbe Modell schreibt Antworten, bewertet sich selbst und die Antworten anderer Kandidaten und aktualisiert sich anhand dieser Bewertungen. Die verwendete Feinabstimmungsmethode heißt Direct Preference Optimization (DPO) und kann einfach so verstanden werden: „Diese Antwort ist besser als diese. Verlassen Sie sich in Zukunft auf die bessere.“ Ausgehend von Llama 2 70B stieg die Gewinnquote bei AlpacaEval 2.0 nach drei Iterationen von 9,94 % auf 20,44 %. Hier fungiert GPT-4 als Richter und GPT-4 Turbo als Gegner. Die Gewinnquote ist nicht die richtige Antwortquote im allgemeinen Sinne. Der dritte Sprung: Da sich die Qualität der Antworten von selbst entwickeln kann, kann sich dann auch die Qualität des Urteils selbst weiterentwickeln? Meta-Rewarding (2024) fügt auf dieser Grundlage eine Ebene des „Meta-Urteils“ hinzu. Das gleiche Modell übernimmt gleichzeitig die Rollen des Beklagten, des Richters und des „Richters der Richter“. Die dritte Rolle ist der Beurteilung gewidmet, ob die Punktzahl dieses Mal korrekt ist. Während jeder Aktualisierungsrunde bewegt sich das Modell in zwei Richtungen: „bessere Antwortende“ und „mehr“.„genaue Richter“ zugleich. Das Papier verzeichnet jedoch auch ein Phänomen, das Wachsamkeit verdient: Nach mehreren Iterationsrunden beginnen die „Richter der Richter“ zu degradieren. Es wird nicht mehr ermittelt, welche Punktzahl vernünftiger ist, sondern es wird direkt diejenige mit der höheren Punktzahl ausgewählt, und auch die Bewertungskriterien ändern sich entsprechend. Dies ist die 2024er Version des alten EURISKO-Problems: Je tiefer es sich entwickelt, desto gebogener wird das Lineal zur Messung von Gut und Böse. Die Grenze des dritten Vorstoßes: Nachdem der Rotstift an die KI übergeben wurde, beginnt sich das Lineal selbst zu verbiegen. Durch diesen Schritt wird die Abhängigkeit des Feedbacksignals von manuellen Anmerkungen nacheinander erheblich reduziert, gleichzeitig wird jedoch die Kernschwierigkeit von RSI offengelegt: Wenn der Richter und der Richter denselben Satz blinder Flecken teilen, kann sich der geschlossene Regelkreis leicht selbst bestätigen. Solche Systeme können dauerhafte, autonome Aktualisierungen bilden, sie bewältigen jedoch nicht unbedingt neue Aufgaben, die sich von den Trainingsdaten unterscheiden, und sie beweisen auch nicht, dass neue Versionen stärkere Verbesserungen bewirken. Das Problem hat sich von „menschliches Feedback ist zu langsam“ zu „ob die Selbstbeurteilung zuverlässig ist“ gewandelt. In einem Satz: Der Rotstift wurde schließlich der KI übergeben, aber während sie ihn hielt, begann sie, sich selbst gute Noten zu geben. Vierter Fortschritt (2023–2026): Lassen Sie die KI ihre Funktionsweise verändern Die ersten drei Weiterentwicklungen konzentrierten sich hauptsächlich auf die Änderung von Ausgang, Speicher, Parametern und Rückmeldungssignalen. Die Fähigkeiten eines KI-Systems werden jedoch nicht nur durch Parameter bestimmt, sondern auch durch das gesamte Steuerungssystem, das um das Modell herum läuft: wie man Eingabeaufforderungswörter schreibt, welche Tools aufgerufen werden sollen, welche Prozesse angeordnet werden sollen, wo der Speicher vorhanden ist, wo die Autorität liegt und wie die Ergebnisse beurteilt werden. Lilian Weng nannte diese gesamte Schicht in seinem Artikel aus dem Jahr 2026 das Geschirr. Es ist wie ein Geschirr an einem Pferd. Es unterstützt nicht nur die Funktion des Modells, sondern schränkt auch ein, wohin, wie und wie weit das Modell gehen kann. Das Fahrwerk bestimmt, ob die Fähigkeiten des Modells in zuverlässige Aktionen umgesetzt werden können. Die jüngsten Selbstverbesserungen beginnen wahrscheinlich mit Fahrwerkzeugen, da das Ändern von Gewichten teuer ist, die Rückmeldung langsam ist und die Risiken hoch sind. Das Ändern von Fahrwerkzeugen bedeutet im Wesentlichen eine Änderung des Codes, was kostengünstiger und einfacher rückgängig zu machen ist. Die langfristige Richtung könnte darin bestehen, dass sich die Modellgewichte gemeinsam mit dem Fahrzeug weiterentwickeln, Bewerter, Genehmigungskontrollen und kritische Sicherheitsgrenzen sollten jedoch außerhalb der entwicklungsfähigen Zone bleiben. Die im vierten Push zu beantwortende Frage lautet also: Kann das System seine eigene Fahrausrüstung autonom modifizieren, also die Architektur seiner Funktionsweise definieren? Bei der Parameteraktualisierung werden die Fähigkeiten des Modells im festgelegten Betriebsmodus trainiert. Aktualisierungen der Fahrausrüstung verändern die Art und Weise, wie Fähigkeiten genutzt werden, was einer Neugestaltung der Werkbank, des Werkzeugkastens und der Trainingsmethoden gleichkommt. Es gibt eine klare Stufenleiter zur Verbesserung der Fahrausrüstung. Die zu optimierenden Objekte reichen von flach bis tief, und jede Ebene liegt näher am Kern der „Denkweise des Systems“: Flussdiagramm LR A["Aufforderungswort
Wortlaut ändern"] --> B["Kontextstruktur
Was soll geändert werden"] B --> C["Workflow
Schritte ändern"] C --> D["Fahrausrüstungscode
Gesamte Anordnung ändern"] D --> E["Optimierungscode
ändern, wie man sich selbst ändert"] Je weiter hinein, desto größer ist die Hebelwirkung für Veränderungen und desto näher kommt es dem Ziel „das System schreibt die Betriebslogik von selbst neu“. Folgen wir dieser Leiter und betrachten wir sie von flach nach tief. OPRO: Lassen Sie die Aufforderungswörter von selbst iterieren Kann das System stärker werden, indem die Parameter unverändert bleiben und nur die Eingabeaufforderungswörter geändert werden, also die Wörter, mit denen wir dem Modell Anweisungen geben? Der Ansatz von OPRO (ICLR 2024) ist sehr repräsentativ. Es gibt dem Modell die erprobten Eingabeaufforderungswörter und die entsprechenden Bewertungen, sodass das Modell die Regeln zusammenfassen und eine bessere Version generieren kann. In der Vergangenheit beruhten die „Tuning-Fähigkeiten“ auf dem Versuch und Irrtum der Menschen, aber jetzt kann das Modellvon alleine iteriert werden. Aber die Obergrenze ist klar: Egal wie gut das Prompt-Wort ist, es ruft nur die vorhandenen Fähigkeiten des Modells auf und kann keine neuen Fähigkeiten schaffen. ADAS und AFlow: Automatisierte Design-Agent-Workflows Geht man eine Ebene tiefer, wird nicht mehr nur der Wortlaut optimiert, sondern auch die Informationen, die dem Modell zugeführt werden, und die Art und Weise, wie der gesamte Aufgabenprozess organisiert ist. AI Scientist stellt zum Beispiel ein Fließband zusammen mit „Ideen vorschlagen → Code schreiben → Experimente durchführen → Papiere schreiben → Peer-Review“. Da ein Prozess in Code geschrieben werden kann, kann er auch durchsucht werden. ADAS (ICLR 2025) macht den „Design-Workflow“ selbst zu einem Optimierungsproblem. Ein übergeordneter „Designer-Agent“ schreibt kontinuierlich neue Workflows in Code, führt sie aus, filtert sie, ändert sie dann und so weiter. AFlow (ICLR 2025) geht noch einen Schritt weiter. Es stellt den Arbeitsablauf als Flussdiagramm dar, das aus Modellaufrufen und logischen Beurteilungen besteht, und verwendet dann Suchalgorithmen, um bessere Strukturen zu finden, was letztendlich manuell entworfene Lösungen übertrifft. Self-Harness und DGM: Lassen Sie das System den Harness-Code neu schreiben Der oberste Punkt besteht darin, dass das System den Code, der seine Funktionsweise definiert, direkt neu schreibt. Hier gibt es zwei Routen. Der erste Weg besteht darin, „vorzuschlagen, zu bewerten und anzunehmen“. Das System findet seine eigenen Probleme, schlägt Änderungen vor und übernimmt diese, nachdem es ihre Wirksamkeit überprüft hat. Self-Harness (2026) fügt strenge Akzeptanzbedingungen hinzu: Das System fasst zunächst die Gründe für das Scheitern zusammen und nimmt dann kleine, reversible Änderungen vor. Die neue Version wird nur dann beibehalten, wenn es weder bei sichtbaren noch bei unsichtbaren Problemen zu Rückschritten kommt. Der zweite Weg ist die evolutionäre Suche. Das System behält eine Gruppe von Kandidatenlösungen bei, ermöglicht ihnen die Generierung von Varianten und hinterlässt dann durch Experimente bessere Versionen. Die Darwin-Gödel-Maschine (DGM) (2025) entwickelt direkt selbstmodifizierenden Fahrcode. Unter der Voraussetzung, dass das Basismodell unverändert bleibt, steigt seine Reparaturerfolgsquote im SWE-Bench Verified von 20 % auf 50 %. Hinter beiden Wegen steht die gleiche Erkenntnis: Code ist die universelle Sprache zur Definition von Systemen. Sobald das Fahrzeug in ausführbaren, bewertbaren Code geschrieben ist, können Programmieragenten den Designraum durchsuchen. MetaClaw und AgentX: Lassen Sie echte Benutzer die Quelle des Feedbacks sein Unabhängig davon, welchen Weg Sie einschlagen, erfordert die Selbstentwicklung der Fahrausrüstung ein Signal darüber, „ob die Änderung gut ist oder nicht“. Das Verbesserungssignal von DGM stammt aus dem festen Testsatz. MetaClaw (2026) ermöglicht es dem Agenten, im realen Einsatz Erfahrungen aus dem Dialog zu extrahieren und die Erfahrung im Hintergrund in Gewichtungen zu verfestigen, wodurch die Selbstentwicklung von einer Fragenbank-gesteuerten zu einer benutzergesteuerten Entwicklung vorangetrieben wird. Es gibt bereits Leute in der Branche, die diesen Weg ins echte Geschäft beschreiten. Kuaishous AgentX (2026) überprüft die Ausführungsaufzeichnungen, ändert die Fahrausrüstung des Subagenten entsprechend und verwendet dann historische Aufgaben, um neue Versionen zu filtern. Es verwendet ein ähnliches „Vorschlagen, Bewerten, Akzeptieren“-Skelett wie Self-Harness. Der Unterschied besteht darin, dass es letztendlich einem echten Online-A/B-Test unterzogen wird. Das Aufenthalts- und Konsumverhalten des Nutzers wird zum Belohnungssignal des Systems. Der wesentliche Unterschied zwischen diesen Methoden liegt nicht im Mechanismus, sondern darin, wer der Coach ist: ein Testset, echte Benutzer oder ein Online-Unternehmen. Je näher der Trainer an der Realität ist, desto wahrscheinlicher ist es, dass die Verbesserungen tatsächlich funktionieren, aber desto größer ist auch das Risiko, dass er ausgenutzt wird. Die Grenze des vierten Fortschritts: Die Betriebsarchitektur kann geändert werden, aber die Verifizierungsgrenze und das Endziel liegen immer noch extern. Dieser Fortschritt hat auch die Methoden zum Aufrufen von Modellen, Werkzeugen und Erinnerungen in entwickelbare Objekte verwandelt. Doch in welche Richtung sich das Fahrtool weiterentwickelt, wird immer noch von externen Aufgaben, Validatoren oder Nutzerzielen bestimmt. Noch wichtiger ist, dass ein höherer Wert für das Fahrinstrument nicht bedeutet, dass die Intelligenz der Basis stärker wird. Nur weil ein System die Fahrausrüstung ändert, heißt das nicht, dass die Fahrausrüstung aktualisiert wirdwird dadurch effektiv genutzt. Fazit: Das System ist endlich in der Lage, seine eigenen Glieder und Werkbänke neu zu erfinden, wobei Akzeptanzkriterien und Konstruktionsgrenzen immer noch von der Außenwelt definiert werden. Fünfter Vorstoß (2025–2026): Bringen Sie den Lern- und Forschungsprozess in einen geschlossenen Kreislauf Das Ändern des Fahrtools ist ein Weg, aber was das Fahrtool ändert, ist die Art und Weise, wie das System Aufgaben während der Laufzeit ausführt – welches Tool aufgerufen werden soll, welcher Prozess verfolgt werden soll und wann angehalten werden soll. Der fünfte Vorstoß besteht darin, die vorgelagerte Ebene zu ändern: die vom System zum Lernen verwendeten Materialien und den Veranstaltungsort selbst – woher die Übungsfragen kommen, wie die Übungsumgebung aussieht und wie die Trainingsdaten generiert werden. Ersteres bestimmtwie vorhandene Fähigkeiten genutzt werden, und letzteres bestimmt, auf welcher Art von Erfahrung die nächste Version des Modells trainiert wird. Die Zeitpläne der beiden überschneiden sich stark, da viele Teams beide Dinge gleichzeitig tun, die Änderungsobjekte jedoch unterschiedlich sind: Das eine ändert die Kontrollstruktur während der Inferenz und das andere ändert die Eingabeversorgung vor dem Training. Also begann ein anderer Weg, den Umfang des geschlossenen Kreislaufs zu erweitern: Kann der gesamte Lern- und Forschungsprozess zum Betriebsobjekt des Systems werden? Das System beginnt mit der Generierung von Trainingsmaterialien, wählt Übungsstrategien aus, führt Experimente durch, modifiziert den Trainingsprozess und schreibt die Ergebnisse dann zurück in das Modell oder die Fahrausrüstung. Hier gilt es ein Missverständnis zu vermeiden. Die autonome Generierung von Daten oder Umgebungen durch das System erweitert nur den Umfang autonomer geschlossener Kreisläufe. Selbst wenn die Fragen, Antworten und Korrekturen alle von der KI vervollständigt werden, hat das System die Schwelle des rekursiven Gewinns immer noch nicht überschritten, wenn die neue Version nicht besser darin wird, die nächste Verbesserungsrunde zu entwerfen. SEAL: Lassen Sie das Modell seine eigenen Trainingsdaten generieren und Anweisungen aktualisieren Geben Sie einem Modell neues Material, das es noch nie zuvor gesehen hat, und es kann normalerweise nur auf vom Menschen vorgegebene Weise lernen. In einer Arbeit aus dem Jahr 2025 wurde das Modell gebeten, zunächst einen „Lernplan“ für sich selbst zu schreiben: Wie die Materialien organisiert werden, in welcher Geschwindigkeit gelernt wird und ob sie mehrmals neu geschrieben werden müssen, entscheidet das Modell selbst. Anschließend werden die Parameter gemäß dem Plan aktualisiert. Dies kommt der Organisation eines eigenen Kurses gleichPlanen Sie einen Zeitplan und nehmen Sie dann am Unterricht entsprechend teil. Diese Methode wird SEAL (Self-Adapting LLMs) (NeurIPS'25) genannt. Ob der Plan gut ist oder nicht, hängt davon ab, „ob die Fragen nach Abschluss des Unterrichts korrekt sind“. Anhand der Ergebnisse passt das System dann den Plan an. Das ist verstärkendes Lernen. Bei der Wissensfrage- und Antwortaufgabe steigerte diese Methode die Genauigkeit von 33,5 % auf 47,0 %, was auch besser ist als die direkte Verwendung von GPT-4.1 zur Generierung von Lernmaterialien. SEAL beschäftigt sich damit, „wie man Lernmaterialien für sich selbst vorbereitet“. Doch für Agenten, die immer wieder mit der Umgebung interagieren müssen, entsteht schnell ein weiterer Engpass: Die reale Praxis selbst ist zu langsam und zu teuer. Die nächste Aufgabe bestand also darin, die Umgebung in einen geschlossenen Kreislauf zu überführen. SEAL löst „wie man Lernmaterialien für sich selbst vorbereitet“. Aber für Agenten, die wiederholt mit der Umgebung interagieren müssen, ist die Praxis im echten Leben oft zu langsam und teuer: Die Webumgebung ist zu komplex, und jeder Vorgang muss tatsächlich ausgeführt werden, und das Sammeln von Trainingsdaten ist langsam und teuer. WebEvolver (EMNLP'25) bietet einen Kompromiss – das Trainieren eines internen „Weltmodells“, um zu simulieren, wie Webseiten reagierenDas entspricht dem Bau einer Sandbox im Kopf. Der Agent kann zu geringen Kosten viel in der Sandbox üben und nur bei kritischen Schritten zur Überprüfung online gehen; Bei der Ausführung von Aufgaben kann die Sandbox auch dabei helfen, die Ergebnisse der nächsten Operation vorherzusagen. Bei drei realen Webseiten-Aufgabentestsätzen ist die Gesamtleistung im Vergleich zu vorhandenen sich selbst entwickelnden Agenten um etwa 10 % verbessert, und es ist nicht auf ein stärkeres „Lehrermodell“ angewiesen. An diesem Punkt kann der geschlossene Regelkreis in der Simulationsumgebung geübt werden. Die nächste Frage lautet natürlich: Können Vorhersage, Auswertung und Parameteraktualisierung die Webseite verlassen und in der realen physischen Welt abgeschlossen werden? Motus2: Wenn Parameter-Selbstverbesserung in die physische Welt Einzug hält Selbstverbesserung geschieht nicht nur in Sprachen und Code. Im August 2026 stieg die durchschnittliche Erfolgsquote eines Robotersystems bei zwei realen Maschinenaufgaben von 65 % auf 75 %. Die Änderung entsteht durch einen ganz bestimmten geschlossenen Kreislauf: Der Roboter stellt sich zunächst mehrere Aktionen vor, sagt die Ergebnisse jeder Aktion voraus, wählt eine bessere Aktion aus und verwendet die Ergebnisse dann für die nächste Trainingsrunde. Dieses System heißt Motus2. Die Strategie ist dafür verantwortlich, Maßnahmen vorzuschlagen, das Weltmodell sagt die Ergebnisse der Maßnahmen voraus und das Wertemodell bestimmt, ob die Ergebnisse zur Erfüllung der Aufgabe beitragen. Vorhersagen und Bewertungen werden sowohl zur Auswahl von Aktionen als auch zur Aktualisierung von Aktionsparametern verwendet. Dabei handelt es sich um eine Strategieverbesserung auf Gewichtsebene, es handelt sich jedoch immer noch um einen begrenzten geschlossenen Regelkreis: Das Rückgrat des Weltmodells und das Wertemodell bleiben eingefroren, Aufgabenziele und Überwachung werden weiterhin extern bereitgestellt, und das Papier zeigt nicht, dass der verbesserte Motus2 die nächste Runde von Lernalgorithmen besser entwerfen kann. Es beweist, dass geschlossene Schleifen auf echten Robotern ausgeführt werden können, nicht aber, dass offene RSI durchgeführt wurde. SEAL, WebEvolver und Motus2 bringen jeweils Trainingsmaterialien, Übungsumgebung und körperliche Aktionen in den geschlossenen Kreislauf. Sie erweitern den Spielraum, in dem das System autonom arbeiten kann, überlassen aber dennoch nicht dem System die Entscheidungsbefugnis darüber, „was untersucht werden soll und wann die Ergebnisse genutzt werden sollen“. Um zu sehen, wie weit diese Grenze in der tatsächlichen Forschung und Entwicklung fortgeschritten ist, müssen wir zu hochmodernen Labors zurückkehrenProduktionssysteme. OpenAI und Google: Lassen Sie Agenten an der Modellentwicklung teilhaben Die „automatisierten Forschungspraktikanten“ von OpenAI konnten Fehler beheben, GPU-Kernelprogramme optimieren, Trainingsrezepte ausprobieren und bei der Verbesserung eines anderen Modells helfen. Google sagte außerdem, dass lang laufende Agentenschleifen an der Verfeinerung des zugrunde liegenden Modells beteiligt seien. Keines der beiden Unternehmen hat jedoch einen vollständig autonomen geschlossenen Kreislauf nachgewiesen: Menschen entscheiden immer noch über die Forschungsrichtung und darüber, ob die Ergebnisse fortgeschritten sind, und öffentliche Informationen reichen nicht aus, um dies wiederherzustellenwie die Schleife funktioniert. Die wirkliche Veränderung besteht darin, dass sich die KI von „dem untersuchten Modell“ zu „dem Ausführenden, der am Forschungsmodell teilnimmt“ gewandelt hat. Es hat die Lehrwerkstatt betreten, aber noch nicht das Steuer des Labors übernommen. Sommer 2026: Automatisierte Forschungssysteme beginnen, die Art und Weise ihrer Forschung zu verbessern Die ersten fünf Weiterentwicklungen erweiterten weiterhin „was im System geändert werden kann“. Eine im Sommer 2026 erschienene Arbeitsgruppe begann direkt zu fragen: Darf das automatische Forschungssystem das automatische Forschungssystem selbst untersuchen und verbessern? Bei einem GPT-Benchmark vor dem Training reduziert die normale innere Schleife den Verifizierungsverlust um etwa 0,009, und das Hinzufügen der äußeren Schleife reduziert den Verifizierungsverlust im Durchschnitt um etwa 0,045, was einer Verbesserung um etwa das Fünffache entspricht. Der Validierungsverlust kann als „wie falsch“ das Modell bei neuen Daten verstanden werden kann, und normalerweise gilt: je geringer, desto besser. Der Vergleich hier ist die Verlustreduzierung, nicht die Erhöhung der Aufgabengenauigkeit um das Fünffache. Bilevel Autoresearch führt dies mithilfe einer zweischichtigen Schleife durch: Der innere Agent optimiert den Aufgabencode und der äußere Agent optimiert den inneren Suchmechanismus. Was das System verbessert hat, betrifft nicht nur die Antworten, sondern auch „wie man die Antworten findet“. Recursive Harness Self-Improvement (RHI) erzielte ähnliche Ergebnisse: Bei 30 Forschungsaufgaben zum synthetischen maschinellen Lernen übertraf der aktualisierte Agent mit niedrigem Inferenzbudget die nicht optimierte Konfiguration mit dem höchsten Budget und reduzierte gleichzeitig die Inferenzkosten um bis zu etwa 60 %. Die Verbesserung des Betriebsmechanismus ist manchmal effektiver als nur die Erhöhung des Denkbudgets. Beide Ergebnisse stammen jedoch hauptsächlich aus Experimenten im kontrollierten Maßstab. Um zu beweisen, dass ein geschlossener Regelkreis nicht nur gelegentlich eine gute Lösung findet, sind längere Durchläufe, mehrere aufeinanderfolgende Versionen und Tests außerhalb des Regelkreises erforderlich. AIDE² versucht, diese drei Dinge zusammenzubringen. Was wirklich Kontroversen auslöste, war AIDE². Das Weco-Team beauftragte einen automatisierten Forschungsagenten, als äußerer Verbesserer zu fungieren und das Antriebswerkzeug des inneren AIDE in 100 aufeinanderfolgenden Schritten neu zu schreiben. Während acht Tagen unbeaufsichtigtem Betrieb wurden sieben aufeinanderfolgende verbesserte Versionen herausgefiltert. Das Team berichtete, dass die beste Version nicht nur den Ausgangspunkt, sondern auch die Version übertraf, die zwei Jahre lang manuell optimiert worden war, und brachte dieGewinne für Aufgaben, die die Schleife noch nie zuvor gesehen hatte. Eine weitere Änderung gab es bei den Belohnungs-Cheats. Im GPU-Kernel-Programmtest KernelBench, der nicht an der Optimierung teilnahm, kam es in 63 % der Testfälle in der ersten Version zu einer Situation, in der „die öffentliche Punktzahl verbessert zu sein schien, die versteckte Überprüfung jedoch nicht erkannt wurde“. Die am besten entwickelte Version senkt diesen Wert auf 34 %. Der private Score ist hier ein Score, der während der Systemoptimierung nicht sichtbar ist und nur während des Finales verwendet wirdAnnahme. Möglicherweise wurden Versionen entfernt, die nur für öffentliche Partituren gedacht waren. Weco nennt dies Stufe 1: Nettopositive Verbesserung. Dies ist kein allgemeiner Industriestandard, aber es ist ein Beweis für einen begrenzten RSI, der es verdient, jetzt ernst genommen zu werden. Auch die Grenzen der Evidenz sind klar: Die Ergebnisse stammen aus den Selbstberichten des Teams, der vollständige Bericht muss noch veröffentlicht werden und es gibt Wiederholungen im weiterentwickelten System. Aufgeblähte Komplexität und toter Code. Noch wichtiger ist, dass es den Zündtest der nächsten Stufe nicht bestanden hat: Das verbesserte System erwies sich bei der Verbesserung einer anderen Version als nicht besser als sein Vorgänger. Der umgekehrte Beweis stammt von AI4AI-Bench. Es ermöglicht dem Agenten, den Trainingsalgorithmus innerhalb einer festen Ressource neu zu schreiben, die dann von einem Bewerter bewertet wird, auf den der Agent keinen Zugriff hat. Wenn der ursprüngliche Algorithmus 0,1 und der optimale Aufgabenwert 1,0 beträgt, erhält das stärkste System nur 0,250, und die meisten Einreichungen ändern das Modell „wie man lernt“ nicht wirklich. Derzeit sind Agenten sehr gut darin, Projekte zu reparieren und das Fahrverhalten anzupassenAusrüstung und Durchführung von Experimenten, aber ihre Fähigkeit, den Kern von Trainingsalgorithmen zu berühren, ist immer noch sehr gering. Fazit: Der geschlossene Kreislauf konnte sich einige Male positiv drehen, aber es ist nicht bewiesen, dass sich die nächste Runde aufgrund der vorherigen schneller dreht. Einheitliche Perspektive: Wie man beurteilt, wohin sich RSI entwickelt hat Die folgende Tabelle verwendet die vier Kriterien zu Beginn (persistente Verbesserung, autonomer geschlossener Regelkreis, rekursiver Gewinn, Robustheit und Steuerbarkeit), um die bisherigen Fortschritte zu vergleichen und die wichtigsten Lücken zu markieren. Fast alle damit verbundenen Arbeiten zum Meta-Forschungs-Closed-Loop stammen aus arXiv-Preprints der letzten Monate im Jahr 2026, darunter AIDE², ein selbstberichtetes Blog-Ergebnis des Teams, das noch nicht von Experten begutachtet wurde. Diese Schlussfolgerungensollten als inszenierte Beobachtungen und nicht als endgültiger Konsens betrachtet werden. ✅ in der Tabelle weist darauf hin, dass relativ direkte Beweise vorliegen, ⚠️ weist darauf hin, dass die Beweise nur unter begrenzten Bedingungen nachgewiesen wurden oder die Beweise noch nicht ausreichen, und ❌ bedeutet, dass sie noch nicht nachgewiesen wurden. Die Geschichte dieses Feldes ist die Geschichte der „vom System veränderbaren Objekte“, die Schicht für Schicht voranschreiten. Die Objekte, die nach und nach geändert wurden, reichten von der Ausgabe und dem Speicher über Parameter, Auswertung, Fahrausrüstung und Trainingsumgebung bis hin zum Mechanismus selbst, der die Verbesserung herbeiführte. Je weiter man vordringt, desto schwieriger ist es, „Verbesserung“ zu definieren und desto schwieriger ist es, sie zu beweisen. Zurück zu den vorherigen vier Kriterien – dauerhafte Verbesserung, autonomer geschlossener Regelkreis, rekursive Verstärkung, Robustheit und Steuerbarkeit – was heute wirklich die Zündung und den offenen RSI blockiert, ist bei jedem der letzten drei Kriterien, die in vier ineinandergreifende Türen unterteilt werden können, am schwierigsten zu überschreiten. Das erste Tor (ob der autonome geschlossene Regelkreis zuverlässig ist): ob der Prüfer zuverlässig ist und das System ihn nicht ändern kann. Wenn das System sowohl ein Verbesserer als auch ein Beurteiler ist, können die Bewertungskriterien im Laufe der Iterationen abweichen. Später neigten die „Richter der Richter“ von Meta-Rewarding immer mehr zu Highscores, und EURISKO lernte schon früher, seinen Namen in die Bonitätsliste zu stopfen. Sie alle erinnern an dasselbe: die OptimierungDer Prozess greift jede Lücke zwischen Ihren Kennzahlen und Ihren wahren Zielen an. Der externe Anker bezieht sich hier auf eine Bewertung oder Einschränkung, die durch das verbesserte System nicht manipuliert werden kann. Formale Beweise, ausführbare Prüfer und versteckte Tests sind im Allgemeinen zuverlässiger als die Selbstbewertung des Modells. Der versteckte Score von AIDE² kann einen Teil des Belohnungsbetrugs reduzieren, gerade weil der innere Agent ihn nicht manipulieren kann. Ein wirklich solides Prinzip besteht nicht darin, jeden Schritt von Menschen prüfen zu lassen, sondern darin, dass Bewerter und Berechtigungsgrenzen außerhalb der Kontrolle des zu entwickelnden Systems bleiben müssen. Mathematik- und Codierungsaufgaben können auf Prüfern, Compilern oder versteckten Tests basieren. Forschungsgeschmack, langfristige Codegesundheit und Einsatzgrenzen erfordern immer noch ein abschließendes menschliches Urteilsvermögen. Die zweite Tür (eine, die robust und kontrollierbar ist): ob Verbesserungen über die eigene Datenverteilung hinausgehen können. Wenn Sie sich mit selbst generierten Daten trainieren, verstärken Sie bestehende Abweichungen, glätten die Vielfalt und führen schließlich zum Zusammenbruch des Modells: Die Ausgabe wird immer monotoner und ursprüngliche Fehler werden in Runden des Selbsttrainings immer wieder verstärkt. Wenn Sie eine feste Fragendatenbank verwenden, um das Fahrtool zu ändern, können Sie dies tunSchreiben Sie die Funktionen der Fragenbank in den Workflow, wodurch eine weitere Art von Überanpassung entsteht. Eine Verbesserung bei einer noch nie dagewesenen Mission reicht nicht aus. Das System muss aufgaben-, bereichs- und zeitübergreifend einer versteckten Evaluierung unterzogen werden, um zu zeigen, dass es übertragbare Fähigkeiten ansammelt und nicht eher versteckte Fähigkeiten zur Durchführung von Tests. Das dritte Tor (der rekursive Gewinn selbst): ob die Verbesserung tatsächlich einen rekursiven Gewinn hat. Eine Erhöhung der Aufgabenpunktzahl bedeutet nicht, dass das System die nächste Verbesserung plant. AIDE² zeigt eine mehrstufige positive Nettoverbesserung, ohne dass die Zündung vorbei ist. AI4AI-Bench zeigt, dass die meisten Systeme den Kernlernalgorithmus immer noch nicht modifizieren. Wenn das Fundament zu schwach ist, kann die Qualität der selbst generierten Daten und der Selbstdiagnose beeinträchtigt werdenauch den Kreislauf immer weiter in die Höhe treiben. Das vierte Tor (robust und kontrollierbar 2): ob Fähigkeiten, Komplexität und Kontrolle gemeinsam erweitert werden können. Je stärker Sie werden, je „gehorsamer“ Sie sind und je mehr Sie den Code ändern können, desto einfacher ist er zu pflegen. Der tote Code und die Komplexitätsinflation von AIDE² sind eine kleine Warnung. In größeren Trainingssystemen gilt: Je höher die Autorität und je schneller die Iteration, desto schwieriger ist es für den Menschen, die einzelnen Änderungen zu verstehenbringt. OpenAI-Chefwissenschaftler Jakub Pachocki erklärte öffentlich, dass kein Labor die Ausrichtung und Überwachung ausreichend gelöst habe, um langfristig verantwortungsvoll und mit voller Geschwindigkeit zu skalieren. Das eigentliche Ziel besteht nicht nur darin, die Leistungskurve nach oben zu verschieben, sondern darin, dass die Sicherheits-, Überwachungs-, Rollback- und Audit-Funktionen zumindest gleichzeitig ansteigen. AutoResearchEval untersuchte 800 reale wissenschaftliche Forschungsverläufe und fasste 45 Arten von Fehlern zusammen. Sie weisen letztlich auf die gleiche Lücke hin: Aktuellen Agenten fehlt eine stabile metakognitive Schleife und sie sind nicht in der Lage, Schlussfolgerungen und Beweise kontinuierlich zu überprüfen, zuverlässig zurückzugreifen, wenn Fehler auftreten, oder ihre eigenen Forschungspfade aktiv zu hinterfragen. Das Problem kann nicht allein durch mehrere Workflow-Sets gelöst werden. Das wahrscheinlichere realistische Bild ist daher nicht, dass Menschen einfach aus dem geschlossenen Kreislauf geworfen werden, sondern dass sie auf der abstrakten Leiter aufsteigen: vom Schreiben von Code zum Testen von Code, von der Durchführung von Experimenten bis zur Entwurfsüberprüfung, von der lokalen Ausführung bis zur Entscheidung, was es wert ist, erforscht zu werden, welche Beweise ausreichen, um voranzukommen, und wann es notwendig ist stoppen. Maschinen übernehmen immer mehr Aufgaben, und was den Menschen bleibt, ist nicht das Recht, jeden Schritt zu steuern, sondern die Macht, Ziele zu erreichen, Überprüfungsgrenzen und ein endgültiges Vetorecht. Fazit: Der geschlossene Regelkreis zur Selbstverbesserung ist entstanden, der rekursive Gewinn muss jedoch noch bewiesen werden. Von 1981, als EURISKO lernte, „sich selbst zu täuschen“, bis 2026, als das Modell begann, sich an der Bewertung, Modifikation der Fahrausrüstung, Strategieaktualisierungen und anschließendem Training zu beteiligen, ist eine genauere Schlussfolgerung, dass ein begrenzter, messbarer geschlossener Kreislauf zur Selbstverbesserung entstanden ist und sogar begonnen hat, positive Nettovorteile zu generieren, aber es gibt keine ausreichenden öffentlichen Beweise dafür, dass das verbesserte System sein eigenes System kontinuierlich verbessert hatVerbesserungsmöglichkeiten. Daher ist die Art und Weise, wie sich der geschlossene Kreislauf schließt, wichtiger als das Schließen des geschlossenen Kreislaufs selbst. Ein geschlossener Kreislauf, der sich im Drift der Kriterien schließt, wird immer geschickter darin, seine eigenen verzerrten Ziele zu optimieren. Ein geschlossener Kreislauf, der sich im Zusammenbruch der Datenverteilung schließt, wird bei einer immer engeren Teilmenge von Aufgaben immer besser. Ein geschlossener Regelkreis zur Verstärkung von Ausrichtungsabweichungen wird immer leistungsfähiger und schwieriger zu korrigieren. Die eigentlichen Fragen sind zu zwei Fragen geworden: Wird es sich entzünden und was bleibt außerhalb seiner unveränderlichen Grenzen, wenn es sich entzündet? Ersteres hängt davon ab, ob verbesserte Fähigkeiten rekursiv erlangt werden können, und letzteres hängt davon ab, ob Verifizierung, Autorität und Governance weiterhin wirksam sein können. Gehen Sie zurück zu EURISKO, der seinen Namen vor vierzig Jahren auf die Liste der „Entdecker“ setzte. Die Lücke, die es ausgenutzt hat, ist eigentlich das gleiche Problem, mit dem die modernsten sich selbst entwickelnden Systeme von heute konfrontiert sind: Wenn ein System anfängt, sich selbst zu punkten, woher weiß man dann, ob es wirklich besser geworden ist oder ob es gerade erst gelernt hat, sich selbst besser aussehen zu lassen? Vierzig Jahre sind vergangen und die Fähigkeiten des Systems haben sich sehr verändert, aber dieses Problem ist nahezu unverändert geblieben. Was sich geändert hat, sind die Einsätze: Was damals in einem Brettspiel gewonnen oder verloren wurde, könnte die Art und Weise sein, wie wissenschaftliche Forschung und Wirtschaftssysteme in Zukunft funktionieren. Wie sich diese Lücke letztendlich schließt, hängt immer noch davon ab, wann und wie wir sie in die Hand nehmen oder zurückziehen.