Post #4121245
2026-07-26 21:21 UTC
@jwalzer@infosec.exchange @jwalzer@infosec.exchange @0815@social.tchncs.de @isotopp@infosec.exchange
Halluzinationen wurden den frühen Modellen eintrainiert, weil man positive Antworten belohnt hat. Man hatte aber „weiß ich nicht“ keine Belohnung gegeben und damit genauso „negativ“ bewertet wie eine falsche Antwort.
Dadurch haben die LLMs damals „gelernt“ dass das raten einer Antwort eine gewisse Chance gibt richtig zu liegen und damit eine höhere Belohnung zu bekommen als wenn sie etwas nicht wissen …
Replies (1)
-
@jwalzer@infosec.exchange 2026-07-26 21:23
@jwalzer@infosec.exchange @jwalzer@infosec.exchange @0815@social.tchncs.de @isotopp@infosec.exchange Diesen Bias kann man mit den passenden pre-prompts in den Griff bekommen, auch wenn ich davon ausgehe, dass die aktuellen Modelle das schon passend trainiert haben … Inzwischen hat man auch noch ein paar andere Auslöser für Halluzinationen identifiziert, aber da muss ich erst noch nachlesen …