NERDMANKI-Modelle vergessen rückwärts — mehr Rechenzeit hilft
Sprachmodelle haben ein peinliches Problem: Sie lernen Fakten, können aber nicht rückwärts denken. Ein neues Paper zeigt, wie man das mit Rechenzeit zur Inferenz flicken kann.
Das Problem: Der Reversal Curse
LLMs speichern Wissen in ihren Gewichten. „A ist B" lernen sie problemlos. Aber „B ist A"? Fehlanzeige. Die Forscher nennen das ein Defizit in Latent Generalization — das Modell kann nicht logisch über sein eigenes Wissen schlussfolgern.
Zwei Arten zu lernen
- In-Weights Learning:** Wissen wird beim Training in die Modellgewichte gebrannt. Funktioniert für Fakten, versagt bei Logik.
- In-Context Learning (ICL):** Wissen wird im Prompt mitgegeben. Flexibler, aber braucht Platz im Kontextfenster.
- Das Dilemma:** Beide Methoden ergänzen sich theoretisch — aber in der Praxis bleibt die deduktive Reasoning-Lücke offen.
Die Lösung: Test-time Compute
Statt größere Modelle zu trainieren, drehen die Forscher an einem anderen Hebel: mehr Rechenzeit bei der Inferenz. Das Modell bekommt quasi Bedenkzeit, um über sein gespeichertes Wissen nachzudenken. Kein neues Training nötig.
💡 Was das bedeutet
Der Ansatz ist clever, weil er ein fundamentales Problem angeht, ohne die Trainingskosten hochzutreiben. Wenn Modelle ihr eigenes Wissen besser nutzen können, brauchen sie weniger Kontext — und werden zuverlässiger bei logischen Aufgaben. Noch ist das reine Forschung, kein Produkt.
✅ Pro
- Adressiert ein echtes, bekanntes Problem (Reversal Curse)
- Kein teures Neu-Training nötig
- Komplementär zu bestehenden Reasoning-Ansätzen
❌ Con
- Reines Forschungspaper, kein nutzbares Tool
- Mehr Inferenz-Compute = höhere Kosten pro Anfrage
- Unklar, wie gut das bei komplexen realen Aufgaben skaliert
