· Daniel Schleipfer · KI
Warum ein Modell auf dieselbe Frage fast nie zweimal dieselbe Antwort gibt
Zweimal dieselbe Frage an dasselbe Modell, zweimal eine andere Antwort. Kein Fehler: Das Modell zieht bei jedem Wort aus einer Wahrscheinlichkeitsverteilung. Was Temperature, Top-p und Top-k dabei tatsächlich einstellen.