Auto Research mit KI: Optimierungsschleifen selbst aufsetzen

Auto Research beschreibt ein einfaches, aber weitreichendes Prinzip: Eine KI führt selbstständig Experimente durch, misst das Ergebnis mit einer festen Kennzahl und behält nur Änderungen, die nachweislich besser sind. Alles andere wird verworfen.

Der Einsatz reicht über das Machine Learning hinaus. Das Muster lässt sich überall nutzen, wo sich ein Ergebnis klar messen und automatisch bewerten lässt. Dazu gehören etwa Website-Performance, Marketingtests, Trading-Strategien, Prompt-Optimierung oder technische Prozessverbesserungen.

Wer verstehen will, wie Auto Research funktioniert, braucht keine komplizierte Theorie. Im Kern geht es um drei Dinge: ein veränderbares Objekt, eine unveränderliche Bewertung und einen wiederholbaren Experiment-Loop.

Was ist Auto Research?

Auto Research ist ein Open-Source-Ansatz, bei dem ein KI-Agent selbstständig Verbesserungen ausprobiert. Der Agent formuliert eine Hypothese, verändert einen definierten Bereich, führt einen Test aus und bewertet das Resultat anhand einer festen Metrik.

Prominent gemacht hat das Muster Andrej Karpathy mit seinem Projekt autoresearch (MIT-Lizenz). Dort trainiert ein Agent über Nacht kleine Sprachmodelle: Er ändert den Code, trainiert fünf Minuten, prüft die Kennzahl, behält oder verwirft die Änderung und wiederholt den Vorgang.

Fällt das Ergebnis besser aus, wird die Änderung gespeichert. Fällt es schlechter aus, wird sie zurückgesetzt. Danach beginnt der nächste Versuch.

Das ist mehr als ein Chatbot mit langen Antworten. Es handelt sich um einen autonomen Arbeitskreislauf, der Entscheidungen auf Basis messbarer Resultate trifft.

Warum Auto Research gerade so viel Aufmerksamkeit bekommt

Das Prinzip wirkt auf den ersten Blick fast banal. In der Praxis hat es aber große Folgen. Sobald eine KI nicht nur Vorschläge macht, sondern selbstständig testet, misst und verwirft, steigt die Anzahl möglicher Experimente drastisch.

Ein Mensch testet vielleicht einige Varianten pro Woche. Karpathys Setup schafft bei fünf Minuten pro Lauf rund zwölf Experimente pro Stunde und etwa hundert über Nacht, solange Rechenzeit und Kosten im Rahmen bleiben.

Darum ist Auto Research für Unternehmen interessant, die wiederkehrende Optimierungsaufgaben haben. Es geht um ein Muster, das sich auf viele Bereiche übertragen lässt. Wer KI strukturiert in Abläufe einführen will, sollte klein anfangen und saubere Messgrößen definieren, etwa in einem Proof of Concept für KI.

So funktioniert der Auto-Research-Loop

Der Ablauf ist im Grunde immer gleich:

1. Der Agent entwickelt eine Hypothese zur Verbesserung.
2. Er verändert einen freigegebenen Teil des Systems.
3. Ein Test oder Training läuft für eine feste Zeit.
4. Die Auswertung berechnet eine Kennzahl.
5. Bei Verbesserung wird die Änderung gespeichert.
6. Bei Verschlechterung wird zurückgesetzt.
7. Der nächste Versuch startet automatisch.

Der Clou liegt in der Wiederholung. Einzelne Änderungen können belanglos sein. Viele sauber vergleichbare Durchläufe führen oft zu deutlichen Fortschritten.

Warum ein fixes Zeitbudget wichtig ist

Experimente müssen fair vergleichbar sein. Deshalb bekommt jeder Versuch denselben Zeitrahmen. Sonst könnte ein scheinbar besseres Ergebnis nur daher kommen, dass länger trainiert, länger geladen oder ausführlicher gerechnet wurde.

Mit einem festen Zeitbudget entscheidet die Idee und nicht die längere Laufzeit. Bei Karpathy sind es exakt fünf Minuten pro Trainingslauf, unabhängig von der Hardware.

Die drei Bausteine von Auto Research

Das zugrunde liegende Modell lässt sich als Drei-Dateien-Architektur beschreiben. Auch wenn die konkreten Dateinamen je nach Projekt anders lauten können, bleibt die Logik gleich. Im autoresearch-Repository heißen die drei Teile program.md, train.py und prepare.py.

1. Die Zielbeschreibung

Hier werden Aufgabe, Regeln, Grenzen und Zielrichtung festgelegt. Diese Datei oder Spezifikation beschreibt, was der Agent tun darf und was nicht. Sie ist die operative Anleitung für den gesamten Loop — bei Karpathy die program.md, auf die der Agent zu Beginn angesetzt wird.

2. Der veränderbare Bereich

Der Agent braucht genau einen Ort, an dem er Änderungen vornehmen darf. Das kann Code sein, eine Konfiguration, ein Prompt, eine mathematische Formel oder eine andere optimierbare Einheit. Im Beispiel ist es die train.py mit Modell, Optimizer und Trainingsschleife — die einzige Datei, die der Agent anfasst.

Die Beschränkung auf einen klar definierten Änderungsbereich macht das Verhalten nachvollziehbarer und reduziert Chaos.

3. Die unveränderliche Auswertung

Dieser Teil misst das Ergebnis und bleibt tabu. Der Agent darf die Bewertungslogik nicht anfassen. Sonst könnte er die Regeln manipulieren und sich bessere Resultate nur vortäuschen. Bei Karpathy übernimmt das die prepare.py samt fixer Kennzahl: Validation Bits per Byte (val_bpb), wobei ein niedrigerer Wert besser ist und der Vergleich unabhängig von der Vokabulargröße bleibt.

Genau hier wird festgelegt, was im Projekt überhaupt als Verbesserung zählt.

Die drei Bedingungen, damit Auto Research funktioniert

Nicht jedes Problem eignet sich dafür. In der Quelle werden drei Voraussetzungen genannt, ohne die der Ansatz scheitert oder wenig bringt.

• Eine klare Metrik: idealerweise eine einzige Zahl mit eindeutiger Richtung.
• Eine automatisierte Bewertung: kein manueller Zwischenschritt.
• Ein definierter Änderungsraum: genau der Teil, den der Agent optimieren darf.

Wenn eine dieser Bedingungen fehlt, wird aus Auto Research schnell ein langsamer, unzuverlässiger Bastelprozess.

Die wichtigste Regel: Die Metrik bestimmt das Verhalten

Auto Research optimiert nicht die Absicht hinter einer Aufgabe. Es optimiert exakt das, was gemessen wird.

Das klingt banal und ist genau die Stelle, an der viele Projekte entgleisen. Eine schlechte Kennzahl führt zu sehr effizientem Unsinn. Der Agent optimiert dann mit großer Zuversicht in die falsche Richtung.

Beispiele:

• Wenn nur Ladezeit zählt, kann eine Website schneller werden, aber inhaltlich verarmen.
• Wenn nur Klickrate zählt, können Überschriften aggressiver werden, ohne die Qualität zu verbessern.
• Wenn nur ein Backtest zählt, kann eine Trading-Strategie überangepasst werden.

Die Wahl der Kennzahl ist daher oft wertvoller als die eigentliche Technik. In Unternehmen hängt daran viel Prozessarbeit. Wer solche Optimierungszyklen in reale Abläufe integrieren will, findet verwandte Anwendungsfälle auch bei Prozessoptimierung mit KI.

Wofür kann man Auto Research einsetzen?

Das Muster ist breiter einsetzbar, als viele zunächst annehmen. Es ist nicht auf Modelltraining beschränkt. Immer dann, wenn ein Ergebnis objektiv messbar und ein Test automatisierbar ist, wird es interessant.

Website-Performance

Ein naheliegender Einstieg ist die Optimierung von Ladezeiten. Der Agent verändert etwa Frontend-Code, Assets oder Konfigurationen und prüft anschließend mit einem Benchmark, ob die Seite schneller lädt.

Der Vorteil: Die Metrik ist klar und technisch gut erfassbar.

Marketing und Conversion-Tests

Auch im Marketing lässt sich das Muster anwenden, zum Beispiel auf:

• E-Mail-Betreffzeilen
• Anzeigenmotive
• Landingpages
• Headlines
• Titelvarianten

Der Agent testet Varianten und misst etwa Conversion, Klickrate oder andere Zielwerte. Voraussetzung bleibt, dass genug Daten schnell genug zusammenkommen.

Trading-Strategien

Hier verändert der Agent Regeln für Kauf und Verkauf, testet sie auf historischen Daten und bewertet die Ergebnisse anhand einer Kennzahl wie dem Sharpe Ratio. Das ist ein typisches Beispiel für viele vergleichbare Experimente mit objektivem Scoring.

Code-Optimierung

Entwickler können bestehende Codebasen auf Geschwindigkeit oder andere technische Zielwerte hin optimieren lassen. Der Agent probiert Änderungen aus und misst, ob Laufzeit, Speicherverbrauch oder andere technische Kennzahlen besser werden.

Prompt Engineering

Auch Prompts oder Systemanweisungen lassen sich auf diese Weise verbessern. Der Agent testet unterschiedliche Formulierungen, Detailgrade oder Sprachen und prüft, welche Variante in der Evaluation besser abschneidet.

Gerade für wiederverwendbare Arbeitsabläufe ist das relevant, etwa bei Agenten-Loops statt einmaliger Prompts.

Wo Auto Research eher scheitert

Das Verfahren hat klare Grenzen. Problematisch wird es, wenn Qualität nicht objektiv genug bestimmbar ist oder wenn die Rückmeldung zu langsam kommt.

Schwierig sind vor allem Bereiche wie:

• Brand Design
• subjektive UX-Fragen
• Preisgestaltung bei geringem Traffic
• allgemein alles, was stark von Bauchgefühl oder Einzelfallurteilen abhängt

Zwar kann man manche dieser Themen teilweise messbar machen, etwa über A/B-Tests. Ohne ausreichende Datenmenge oder schnelle Rückkopplung wird der Loop aber zu langsam oder zu unklar.

Auto Research selbst bauen: Ein einfaches Grundgerüst

Ein erster Prototyp muss nicht groß sein. Das gezeigte Beispiel basiert auf einer simplen Website, einem Benchmark für Ladezeit und einem Agenten, der automatisch Änderungen ausprobiert.

Für einen Einstieg reicht dieses Schema:

1. Wähle ein kleines, messbares Ziel, etwa Ladezeit einer Website.
2. Definiere genau einen änderbaren Bereich, zum Beispiel eine Code-Datei oder ein Konfigurationsfile.
3. Baue eine feste Evaluation, die eine Kennzahl ausgibt.
4. Lege Regeln und Grenzen fest, damit der Agent nicht das Zielsystem manipuliert.
5. Erstelle einen Basiswert, damit spätere Resultate vergleichbar sind.
6. Starte die Experiment-Schleife mit Commit bei Verbesserung und Reset bei Verschlechterung.

Ein sinnvolles Einsteigerprojekt

Website-Geschwindigkeit eignet sich gut, weil:

• die Metrik klar ist,
• die Bewertung automatisiert werden kann,
• Änderungen technisch relativ isoliert möglich sind.

Im beschriebenen Setup wurde ein einfacher Webauftritt gebaut, ein Benchmark-Skript ausgeführt und anschließend ein Loop gestartet, der iterativ Performance-Verbesserungen sucht.

Welche Tools dafür typischerweise verwendet werden

Im gezeigten Aufbau kommen einige praktische Bausteine vor:

• GitHub als Speicherort für das Projekt
• eine Entwicklungsumgebung wie VS Code oder Cursor
• ein Coding-Agent, der Änderungen automatisiert umsetzt
• ein Benchmark-Skript zur Auswertung
• Git für Commit und Reset zwischen Experimenten

Wichtig ist weniger das konkrete Tool als die Struktur dahinter. Man braucht einen Agenten, der zuverlässig experimentieren kann, und eine Auswertung, die unabhängig bleibt.

Häufige Fehler beim Aufsetzen

Zu viele Variablen auf einmal

Wenn der Agent mehrere Dateien, Regeln und Ziele gleichzeitig verändert, wird das System schwer kontrollierbar. Ein enger Rahmen ist am Anfang fast immer besser.

Unscharfe Metriken

Formulierungen wie „besser”, „schöner” oder „wirkt professioneller” taugen nicht als Bewertungslogik. Der Agent braucht messbare Signale.

Menschliche Freigaben im Kernloop

Sobald jeder Durchlauf manuell geprüft werden muss, verliert der Ansatz seinen Hauptvorteil. Auto Research lebt von automatischer Wiederholung.

Manipulierbare Bewertung

Wenn der Agent die Bewertungsfunktion ändern darf, ist das Spiel verloren. Dann optimiert er möglicherweise nur noch die Darstellung des Ergebnisses.

Zu großes Projekt zum Start

Ein riesiger, komplexer Business-Case klingt attraktiv, ist für den Einstieg aber oft ungeeignet. Kleine technische Probleme mit klarer Metrik liefern die besseren Lernkurven.

Ist Auto Research nur für KI-Forscher relevant?

Nein. Das zugrunde liegende Muster ist für Teams in Produkt, Entwicklung, Marketing und Operations relevant. Die Technik wirkt deshalb so kraftvoll, weil sie eine bekannte Idee radikal skaliert: Hypothesen testen, Resultate messen, erfolgreiche Varianten behalten.

Neu ist die Geschwindigkeit und die Möglichkeit, viele Schleifen ohne menschliches Eingreifen laufen zu lassen.

Was man dafür können muss

Für die ersten Schritte braucht man kein tiefes Forschungswissen. Hilfreich sind allerdings Grundkenntnisse in folgenden Bereichen:

• Git und Versionsverwaltung
• eine einfache Entwicklungsumgebung
• Skripte oder Tools für automatische Auswertung
• saubere Definition von Zielen und Nebenbedingungen

Der schwierigste Teil ist selten das Schreiben einzelner Befehle. Meist ist es das Design des Systems: Was darf verändert werden, was bleibt konstant und woran wird Erfolg gemessen?

Antworten auf häufige Fragen

Ist Auto Research dasselbe wie A/B-Testing?

Nein, aber es ist verwandt. A/B-Testing ist oft ein einzelnes Experiment oder eine Serie geplanter Tests. Auto Research beschreibt einen autonomen Loop, der Varianten selbst erzeugt, testet und fortlaufend verbessert.

Kann man damit jedes Business-Problem lösen?

Nein. Ohne klare Metrik und schnelle Bewertung wird der Nutzen schnell gering. Subjektive oder seltene Ereignisse sind schwieriger geeignet.

Wie viele Experimente sind sinnvoll?

So viele, wie Budget, Rechenzeit und Signalqualität sinnvoll erlauben. Mehr Experimente bringen nur dann etwas, wenn die Auswertung sauber ist.

Warum nur eine veränderbare Datei?

Die strikte Begrenzung reduziert Manipulation, macht Resultate nachvollziehbarer und vereinfacht das Zurücksetzen schlechter Änderungen.

Fazit: Auto Research ist ein Muster für messbare Verbesserung

Auto Research ist ein klares Betriebsmodell für autonome Optimierung: ändern, testen, messen, behalten oder verwerfen. Karpathys autoresearch zeigt den Kern an einem konkreten Fall, das Prinzip trägt aber weit über das Modelltraining hinaus.

Am besten startet man mit einem kleinen Problem, einer eindeutigen Kennzahl und einer Auswertung, die nicht manipulierbar ist. Wenn diese Grundlagen stimmen, kann daraus ein erstaunlich leistungsfähiger Verbesserungsprozess entstehen.

Der größte Hebel liegt in der Qualität der Messung. Wer sauber definiert, was besser bedeutet, zieht aus autonomen Schleifen echten praktischen Nutzen.