NERDMANLLMs versagen bei simpler Logik — Paper zeigt Fix
Wahr, Falsch oder Unbekannt — bei dieser Dreier-Frage scheitern selbst die größten Sprachmodelle. Ein neues Paper von arXiv deckt zwei peinliche Denkfehler auf und liefert einen Decoder-Trick dagegen.
Das Problem in zwei Worten
LLMs können nicht sauber negieren. Fragt man sie "Ist H wahr?" und dann "Ist NICHT-H wahr?", widersprechen sie sich selbst. Die Forscher nennen das Negation Inconsistency. Fehler Nummer zwei: Das Modell sagt "Unbekannt" — nicht weil die Info fehlt, sondern weil es sich unsicher fühlt. Bauchgefühl statt Logik.
Wie der Fix funktioniert
Das Verfahren heißt Consistency-Guided Decoding mit Proof-Driven Disambiguation. Klingt nach Dissertation, ist im Kern simpel:
- Schritt 1:** Das LLM beantwortet eine Hypothese UND deren Negation gleichzeitig
- Schritt 2:** Ein Konsistenz-Check prüft, ob die Antworten zusammenpassen
- Schritt 3:** Bei Widersprüchen greift ein beweisbasierter Disambiguator ein
- Schritt 4:** "Unbekannt" wird nur akzeptiert, wenn es logisch begründbar ist — nicht aus Unsicherheit
💡 Was das bedeutet
Das Paper adressiert ein Grundproblem: LLMs raten bei Logik-Aufgaben oft statt zu schlussfolgern. Wer Sprachmodelle für juristische, medizinische oder wissenschaftliche Aussagen nutzen will, braucht genau diese Art von Absicherung. Noch ist das akademisch — aber die Richtung stimmt.
✅ Pro
- Identifiziert zwei konkrete, reproduzierbare Fehlermuster
- Lösung ist modellunabhängig einsetzbar
- Macht "Unbekannt" endlich zu einer echten logischen Kategorie
❌ Con
- Rein akademisch, kein Tool, kein Code-Release bekannt
- Erhöht die Inferenz-Kosten (doppelte Abfrage + Checker)
- Three-Way QA ist eine Nische in der Nische