--- title: "Warum ein Modell auf dieselbe Frage fast nie zweimal dieselbe Antwort gibt" source: https://bitvaria.com/sampling --- 12\. Aug. 2026 · Daniel Schleipfer · [KI](https://bitvaria.com/category/ki/)  · 7 min read # Warum ein Modell auf dieselbe Frage fast nie zweimal dieselbe Antwort gibt Zweimal dieselbe Frage an dasselbe Modell, zweimal eine andere Antwort. Kein Fehler: Das Modell zieht bei jedem Wort aus einer Wahrscheinlichkeitsverteilung. Was Temperature, Top-p und Top-k dabei tatsächlich einstellen. ![Zweimal dieselbe Frage an dasselbe Modell, zweimal eine andere Antwort. Kein Fehler: Das Modell zieht bei jedem Wort aus einer Wahrscheinlichkeitsverteilung. Was Temperature, Top-p und Top-k dabei tatsächlich einstellen.](https://bitvaria.com/_astro/sampling.7v5WKIte.jpg) > **Warum gibt ein Sprachmodell auf dieselbe Frage nicht immer dieselbe Antwort?** > > Ein Sprachmodell berechnet bei jedem Wort keine einzelne Antwort, sondern eine Wahrscheinlichkeit für jedes mögliche nächste Wort. Ein eigener Schritt, das Sampling, zieht daraus erst das tatsächliche Wort: ein Zufallszug, gewichtet nach diesen Wahrscheinlichkeiten. Temperature, Top-p und Top-k stellen ein, wie dieser Zug abläuft. Zweimal dieselbe Frage an dasselbe Modell. Zweimal eine andere Antwort. Kein Netzwerkfehler, kein Bug. Genau so soll es sein. ## Eine Verteilung, kein einzelnes Wort Ein Sprachmodell wählt nicht direkt ein nächstes Wort. Für jedes Wort im Vokabular berechnet es zuerst eine Zahl. Die Zahl sagt, wie gut das Wort passt. Über hunderttausend solcher Zahlen, eine pro möglichem Wort. Ein Beispiel: Das Modell hat gerade vier Wörter im Blick. Alle vier kommen als nächstes infrage: Vier Kandidaten für das nächste Wort In diesem Beispiel gezogen: "Wort A". Wort A 42 % Wort B 28 % Wort C 15 % Wort D 10 % Rest 5 % Rest steht für den großen Rest des Vokabulars, jedes einzelne Wort darin mit einem winzigen Anteil. Der Rahmen um Wort A zeigt, welches Wort in diesem Beispiel gezogen wurde. Zusammen ergeben diese Zahlen eine Verteilung über alle möglichen nächsten Wörter. Ein zweiter Schritt zieht daraus das tatsächliche Wort. Und dieser Schritt nimmt nicht automatisch das vorderste Wort. Er zieht wie aus einer Lostrommel mit hundert Losen: Auf 42 davon steht Wort A, auf 28 Wort B, auf 15 Wort C. Wort A gewinnt am häufigsten. In gut der Hälfte der Züge gewinnt trotzdem ein anderes Wort. Oben wurde Wort A gezogen: die größte Chance, aber keine Garantie. So sieht dieselbe Trommel bei zehn Zügen hintereinander aus: Zehn Züge aus derselben Verteilung 10 Züge, davon 4 mal "A": "A", "B", "A", "A", "C", "B", "A", "D", "B", "C". 1 A 2 B 3 A 4 A 5 C 6 B 7 A 8 D 9 B 10 C Zehn unabhängige Züge, von links nach rechts. Wort A gewinnt viermal, häufiger als jedes andere Wort, aber sechs Züge fallen anders aus. Der Rest des Vokabulars kam in diesen zehn Zügen nicht dran. Dieser Zufall ist kein Nebeneffekt, er ist gewollt. Ein Modell, das immer nur das wahrscheinlichste Wort nimmt, schreibt erstaunlich eintönigen Text: Es wiederholt sich, greift ständig zu denselben Formulierungen und klingt schnell mechanisch. Natürlich klingender Text entsteht erst, wenn auch das zweit- und drittwahrscheinlichste Wort regelmäßig zum Zug kommt. Dieser gewichtete Zufallszug hat einen Namen: Sampling. Die Serie, und wo dieser Begriff sitzt Dieser Begriff sitzt bei "Mental Models" in der Gruppe "Die Maschine". ## Für die Technik-Tiefe Die vier Prozentzahlen von oben sind bereits ein Ergebnis, kein Rohwert. Die letzte Modellschicht liefert zuerst rohe Zahlen, keine Prozente, eine pro [Token](https://bitvaria.com/was-ist-ein-token) im Vokabular. Diese Zahlen heißen Logits. Eine Funktion namens Softmax wandelt sie in genau die Balken von oben um. Temperature skaliert die Logits, bevor Softmax greift. Ein Wert unter 1 schärft die Verteilung, ein Wert über 1 flacht sie ab. So verändert sich das Beispiel von oben bei zwei verschiedenen Temperature-Werten: Temperature 0,5 (schärfer) Wort A 60,9 % Wort B 27,1 % Wort C 7,8 % Wort D 3,5 % Rest 0,9 % Temperature 1,5 (flacher) Wort A 34,6 % Wort B 26,4 % Wort C 17,4 % Wort D 13,3 % Rest 8,4 % Gerechnet aus den Werten von oben, Rest vereinfacht als ein einzelner Kandidat: Logit = ln(Wahrscheinlichkeit), danach Softmax(Logit / Temperature). Bei Temperature 0 bleibt praktisch nur der höchste Balken übrig, jedes Mal derselbe: Greedy Decoding. Top-k und Top-p schränken den Kandidatenkreis vor dem Zug ein, auf unterschiedliche Art. Top-k nimmt immer genau k Wörter, egal wie scharf oder flach die Verteilung ist. Top-p (Nucleus Sampling) nimmt so viele Wörter, bis ihre Wahrscheinlichkeiten zusammen eine Schwelle p erreichen. Bei einer scharfen Verteilung sind das wenige Wörter, bei einer flachen viele. Am selben Beispiel von oben sieht der Unterschied so aus: Top-p = 0,7 Abgeschnitten und nicht mehr verfügbar: "Wort C", "Wort D", "Rest". Wort A 42 % Wort B 28 % Wort C 15 % Wort D 10 % Rest 5 % 42 + 28 = 70 Prozent erreicht, die Schwelle stoppt nach zwei Wörtern. Top-p = 0,9 Abgeschnitten und nicht mehr verfügbar: "Rest". Wort A 42 % Wort B 28 % Wort C 15 % Wort D 10 % Rest 5 % 42 + 28 + 15 + 10 = 95 Prozent, die Schwelle von 90 ist schon nach vier Wörtern erreicht. Top-k = 2 nimmt in beiden Fällen exakt die ersten zwei Wörter, unabhängig von der Schwelle. Dazu kommen Repetition-Penalties gegen Wiederholungen, Min-p als Wahrscheinlichkeits-Untergrenze und ein Seed für den Zufallszug selbst. Wichtig: Temperature 0 ist *fast* deterministisch, nicht garantiert. Der Grund sitzt im Runden. Ein Computer rundet nach jedem Rechenschritt auf eine feste Stellenzahl. Dadurch hängt das Ergebnis einer langen Summe minimal von der Reihenfolge ab. Ein Beispiel mit vier Stellen Genauigkeit: (1000 + 0,4) + 0,4 rundet zweimal auf 1000 ab. Erst 0,4 + 0,4 rechnen und dann die 1000 dazu ergibt dagegen 1001. Kein Schritt war falsch, nur die Reihenfolge war anders. Solche Summen mit tausenden Schritten stecken hinter jeder Zahl, die das Modell pro Wort berechnet. Ihre Reihenfolge hängt von der Batchgröße ab: davon, wie viele Anfragen der Server gerade zusammen verarbeitet. Das schwankt mit der Last von Sekunde zu Sekunde. Meist verschiebt das nur die letzte Nachkommastelle, und nichts passiert. Liegen aber zwei Wörter fast gleichauf, entscheidet genau diese Stelle, welches vorn liegt. Ab diesem einen Wort läuft dann die ganze Antwort anders weiter. ## Wenn Reproduzierbarkeit die falsche Erwartung ist Kreative Aufgaben brauchen Streuung: Werbetexte, Ideenvarianten, Brainstorming. Greedy Decoding wählt dort stets nur das wahrscheinlichste nächste Wort, nicht die beste Antwort, und wiederholt sich schnell. Strukturierte Aufgaben brauchen das Gegenteil: eine Rechnungsnummer extrahieren, ein Feld klassifizieren, einen Vertrag in ein festes Schema pressen. Dort ist hohe Temperature ein Fehler, keine Kreativität. Zwei zufällige Varianten derselben Extraktion sind für nachgelagerten Code kaum von einem Bug zu unterscheiden. Ein naheliegender, aber riskanter Schluss in deutschen Mittelstandsprojekten: Temperature 0 setzen und “deterministisch” ins Pflichtenheft schreiben. Für eine Dokumentation, einen Audit-Trail oder eine Compliance-Antwort reicht das nicht ganz, denn selbst Greedy Decoding bleibt nur fast deterministisch. Wer eine Anfrage mit exakt reproduzierbarem Wortlaut prüfen muss, braucht zusätzlich einen fixierten Seed und eine fixierte Modellversion. Selbst dann bleibt auf einer geteilten API eine Lücke: Welche fremden Anfragen mit der eigenen im selben Batch landen, entscheidet der Anbieter, und genau das kann eine knappe Entscheidung zwischen zwei Wörtern kippen. Im Zweifel hilft nur eine eigene Prüfung statt der Annahme, Temperature 0 bedeute exakt gleich. * * * **Ein Modell hat keine einzige richtige Antwort im Kopf. Nur eine Verteilung möglicher Antworten. Sampling entscheidet, welche davon diesmal gezogen wird. Temperature entscheidet, wie breit dabei gestreut wird.** Nächster Begriff: **die Funktion, der man nicht vertrauen sollte**. Warum ein Sprachmodell technisch wie eine unzuverlässige Funktion behandelt wird, nicht wie eine Datenbank. ## Häufige Fragen **Was ist Sampling bei einem Sprachmodell?** Sampling ist der Schritt, der aus der vom Modell berechneten Wahrscheinlichkeitsverteilung über alle möglichen nächsten Wörter eines zieht: ein Zufallszug, gewichtet nach den Wahrscheinlichkeiten. Das wahrscheinlichste Wort gewinnt am häufigsten, aber nicht immer. **Was ist der Unterschied zwischen Logits und der fertigen Verteilung?** Logits sind die rohen, unnormierten Werte der letzten Modellschicht. Softmax wandelt sie in eine Verteilung um, die sich zu 100 Prozent summiert. **Was bewirkt die Temperature beim Sampling?** Temperature skaliert die Logits vor der Softmax-Funktion. Niedrige Werte schärfen die Verteilung, hohe Werte flachen sie ab. **Was ist der Unterschied zwischen Top-k und Top-p?** Top-k nimmt immer genau k Kandidaten. Top-p (Nucleus Sampling) summiert die Wahrscheinlichkeiten von oben auf, bis die Schwelle p erreicht ist. Dominiert ein Wort die Verteilung, sind das wenige Kandidaten; verteilt sich die Wahrscheinlichkeit auf viele Wörter, entsprechend mehr. **Ist Temperature 0 wirklich immer dieselbe Antwort?** Fast, aber nicht garantiert. Computer runden nach jedem Rechenschritt, und die Rechenreihenfolge hängt davon ab, wie viele Anfragen der Server gerade zusammen verarbeitet. Liegen zwei Wörter fast gleichauf, kann diese winzige Abweichung entscheiden, welches gewinnt. * * * *Teil der Serie [AI-Engineering-Begriffe erklärt](https://bitvaria.com/ai-engineering-begriffe). Verwandt: [Was ist ein Token?](https://bitvaria.com/was-ist-ein-token) und [Warum dieselbe KI-Anfrage zwei Geschwindigkeiten hat](https://bitvaria.com/prefill-decode).* - [ki](https://bitvaria.com/tag/ki/) - [ai-engineering](https://bitvaria.com/tag/ai-engineering/) - [sampling](https://bitvaria.com/tag/sampling/) - [temperature](https://bitvaria.com/tag/temperature/) - [top-p](https://bitvaria.com/tag/top-p/) - [llm](https://bitvaria.com/tag/llm/) Share: [Back to Blog](https://bitvaria.com/blog/) ## Erklärte Begriffe - **Vokabular**: Die feste Liste aller Wörter (genauer: Tokens), die ein Modell kennt und ausgeben kann. Meist über hunderttausend Einträge. - **Verteilung**: Eine Zahl für jedes mögliche nächste Wort, alle zusammen ergeben 100 Prozent. Sampling zieht daraus das tatsächlich gewählte Wort. - **Logits**: Die rohen, unnormierten Werte der letzten Modellschicht, ein Wert pro Token im Vokabular. Noch keine Wahrscheinlichkeiten. - **Softmax**: Die Funktion, die Logits in eine Verteilung umwandelt, deren Werte sich zu 100 Prozent summieren. - **Greedy Decoding**: Immer das wahrscheinlichste nächste Wort wählen, nie ziehen. Der Grenzfall von Sampling bei Temperature 0.