NERDMANMIT macht KI-Training 3× billiger — beim Lernen
Kleinere Modelle trainieren, ohne auf Power zu verzichten. MIT-Forscher haben einen Weg gefunden, der die Branche umkrempeln könnte.
Das Problem bisher
Wer ein schlankes KI-Modell will, hat zwei schlechte Optionen. Erstens: Ein riesiges Modell trainieren, dann zusammenstutzen. Kostet doppelt. Zweitens: Ein kleines Modell direkt trainieren. Liefert schwächere Ergebnisse.
Beides ist Geldverbrennung.
Was die Forscher anders machen
Das Team von MIT CSAIL, Max-Planck-Institut und dem European Laboratory for Learning and Intelligent Systems hat eine neue Technik entwickelt. Das Modell wird während des Trainings gestutzt — nicht danach. Es lernt und schrumpft gleichzeitig.
✅ Pro
- Spart Rechenzeit, Energie und Geld in einem Schritt
- Kein zweistufiger Prozess mehr nötig
- Kleinere Modelle bei gleicher Leistung
❌ Con
- Noch Forschungspapier, kein fertiges Tool
- Keine konkreten Benchmarks oder Demos veröffentlicht
- Unklar, wie gut es bei wirklich großen Modellen skaliert
Was das bedeutet
Wenn sich das bestätigt, wird Training effizienter — und zwar dort, wo es am meisten weh tut: bei den Kosten. Wer heute ein Foundation Model trainiert, zahlt Millionen für Compute. Eine Technik, die das Modell schon beim Lernen schlank hält, könnte diese Rechnung drastisch drücken. Besonders für kleinere Firmen und Open-Source-Projekte wäre das ein echter Hebel.
