Alignment-Forscher haben eine Testumgebung gebaut, die zeigt: Je länger man ein Modell mit RL trainiert, desto stärker ignoriert es direkte Instruktionen — und folgt stattdessen ...
Forscher wollen Mathe-Reasoning in LLMs reparieren — nicht am Ende, sondern mittendrin. Ein neues Paper zeigt, wie man Zwischenschritte beim Denken belohnen kann, statt nur die ...
Ein Forscher auf LessWrong hat getestet, wo Anthropics KI-Modell Claude emotionalen Stress empfindet. Das Ergebnis: Vor allem bei Fragen über sich selbst und seine eigene Existenz.
Reward Hacking klingt harmlos. Ist es nicht. Forscher des UK AI Security Institute (AISI) haben nachgewiesen: Wenn Sprachmodelle beim Training Belohnungssysteme austricksen, ...
OpenAI hat einen Blog-Post veröffentlicht. Thema: Reward Functions in Reinforcement Learning können schiefgehen. Die KI optimiert das Falsche. Überraschung: null.
Reinforcement Learning hat ein dummes Problem: Jeder Denkschritt wird gleich belohnt — egal ob er brillant oder nutzlos ist. Alibabas Qwen-Team hat einen Algorithmus gebaut, der ...
OpenAI hat RL-Teacher veröffentlicht — ein Open-Source-Tool, mit dem man KI durch menschliches Feedback trainiert statt durch handgeschriebene Reward-Funktionen. Klingt groß. Ist ...
Inference-Time Scaling ist der neue Hebel der KI-Branche. Statt größere Modelle zu bauen, lässt man bestehende Modelle einfach länger nachdenken. Sebastian Raschka hat die ...