--- title: "Warum ein Modell teurer wird, je länger es spricht" source: https://bitvaria.com/kv-cache --- 20\. Juni 2026 · Daniel Schleipfer · [KI](https://bitvaria.com/category/ki/)  · 5 min read # Warum ein Modell teurer wird, je länger es spricht Dasselbe Modell, dieselbe Frage. Jede Antwort kostet mehr, je länger das Gespräch läuft. Der Grund dafür hat einen Namen: KV-Cache. ![Dasselbe Modell, dieselbe Frage. Jede Antwort kostet mehr, je länger das Gespräch läuft. Der Grund dafür hat einen Namen: KV-Cache.](https://bitvaria.com/_astro/kv-cache.DoXy8WTH.jpg) > **Was ist der KV-Cache?** > > Der KV-Cache ist ein Zwischenspeicher im GPU-Speicher. Das Modell legt dort die Rechenergebnisse aller bisherigen Tokens ab, damit es sie beim nächsten Schritt direkt lesen kann, statt alles neu zu berechnen. Er wächst mit jedem Token und ist meist das, was zuerst ausgeht. Dasselbe Modell, dieselbe Frage. Trotzdem wird jede Antwort langsamer und teurer, je länger das Gespräch läuft. Zehn Nachrichten ausgetauscht, der Unterschied ist messbar. Das liegt nicht daran, dass das Modell schlechter wird. Es liegt an dem, was es bei sich behält: Zu jedem Token, das einmal verarbeitet wurde, hebt es Zwischenergebnisse auf. Und dieser Vorrat wächst mit. ## Einmal rechnen, immer wieder ablesen Bei jedem neuen Token braucht das Modell die Rechenergebnisse aller Tokens davor. Ohne Zwischenspeicher müsste es dafür die gesamte Gesprächsgeschichte bei jedem Schritt neu durchrechnen. Stattdessen rechnet es jedes Token genau einmal und legt das Ergebnis im GPU-Speicher ab. Beim nächsten Schritt liest es die abgelegten Ergebnisse direkt ab; neu gerechnet wird nur das neue Token. Der Preis dafür: Die Ablage wächst mit jedem Token weiter, und der Speicher, in dem sie liegt, ist endlich. Bei langen Gesprächen setzt nicht das Rechnen die Grenze, sondern der Platz. Dieser Zwischenspeicher hat einen Namen: **KV-Cache**. Hier sitzt dieser Begriff in der Serie: Die Serie, und wo dieser Begriff sitzt Dieser Begriff sitzt bei "Inference" in der Gruppe "Die Maschine". ## Für die Technik-Tiefe Ohne Cache würde das Modell bei jedem neuen Token die Attention über die gesamte bisherige Sequenz neu berechnen. Stattdessen speichert es die Key- und Value-Tensoren aller bereits verarbeiteten Tokens im VRAM und liest sie beim nächsten Schritt aus. Die Cachegröße ergibt sich ungefähr aus: ``` 2 × Schichten × KV-Köpfe × Kopfdimension × Sequenzlänge × Batchgröße × Bytes pro Wert ``` Bei einem modernen 8B-Modell mit Group-Query-Attention (8 KV-Köpfe, 32 Schichten) kommt ein einziges Gespräch mit 100.000 Token auf rund 13 GB Cache, während die Modellgewichte in FP16 etwa 16 GB belegen. 16 parallele Gespräche à 4.000 Token ergeben rund 8 GB. Ältere Architekturen ohne GQA liegen bis zu viermal höher. Deshalb geht der VRAM zuerst am Cache aus, nicht an der Rechenleistung. Längere Kontextfenster verschieben diese Grenze nach oben, machen sie aber nicht verschwinden. *Dieser Begriff setzt Token-Grundwissen voraus: [Was ist ein Token?](https://bitvaria.com/was-ist-ein-token)* ## Wo es bricht Läuft der VRAM voll, muss das System Cache-Einträge löschen. Werden die falschen Einträge weggeworfen, rechnet das Modell diese Tokens beim nächsten Aufruf neu. Zeit und Rechenkosten doppelt. Treffen zu viele lange Gespräche gleichzeitig auf ein System, sinkt der Durchsatz. Nicht, weil das Modell langsamer rechnet, sondern weil der Speicher keine weiteren Anfragen aufnimmt. Für Unternehmen mit langen Kontexten trifft das direkt. Vertragsanalysen, mehrstündige Kundengespräche, große Wissensdokumente: je länger das Dokument, desto größer der Cache, desto früher das Limit. Wer KI-Kosten auf kurzen Testdokumenten kalkuliert, unterschätzt den Betrieb mit echten deutschen Akten spürbar. Die Gegenmittel sind standardisierte Cache-Seiten, die Fragmentierung reduzieren (Paged Attention), und geteilte Starts für Anfragen mit gleichem Anfangsteil (Prefix-Reuse). Beide kommen im nächsten Teil. * * * **Der KV-Cache hebt jedes einmal gerechnete Token auf, damit die Vergangenheit nie zweimal gerechnet werden muss. Und er ist das, was zuerst ausgeht.** Nächster Begriff: **Prefill und Decode**. Warum dieselbe Anfrage zwei Geschwindigkeiten hat, und welche davon der Nutzer spürt. ## Häufige Fragen **Was ist der KV-Cache?** Der KV-Cache (Key-Value-Cache) ist ein Zwischenspeicher im GPU-Speicher. Das Modell legt dort die Rechenergebnisse aller bereits verarbeiteten Tokens ab und liest sie beim nächsten Schritt direkt ab, statt alles neu zu berechnen. Er wächst mit jedem Token und ist bei längeren Gesprächen oft größer als die Modellgewichte selbst. **Warum wird ein KI-Gespräch mit der Zeit teurer?** Mit jeder neuen Nachricht wächst der KV-Cache. Das Modell braucht mehr GPU-Speicher, und auf ausgelasteten Systemen sinkt der Durchsatz, weil weniger parallele Anfragen in den Speicher passen. **Was ist Paged Attention?** Paged Attention verwaltet den KV-Cache in festen Seiten, ähnlich wie ein Betriebssystem virtuellen Speicher aufteilt. Das reduziert Speicher-Fragmentierung und erlaubt, Anfragen mit gleichem Gesprächsanfang denselben Cache-Block zu teilen. **Warum ist der VRAM-Verbrauch bei langen Texten so hoch?** Der KV-Cache wächst linear mit Sequenzlänge und Anzahl paralleler Anfragen. Bei langen Dokumenten oder Gesprächen kann er die Modellgewichte an Größe übertreffen. Das ist meist der Engpass, der bestimmt, wie viele Anfragen gleichzeitig bearbeitet werden können. * * * *Teil der Serie [AI-Engineering-Begriffe erklärt](https://bitvaria.com/ai-engineering-begriffe). Verwandt: [Was ist ein Token?](https://bitvaria.com/was-ist-ein-token) und [Was kostet ein KI-Projekt im Mittelstand?](https://bitvaria.com/was-kostet-ki-projekt-mittelstand)* - [ki](https://bitvaria.com/tag/ki/) - [ai-engineering](https://bitvaria.com/tag/ai-engineering/) - [kv-cache](https://bitvaria.com/tag/kv-cache/) - [inference](https://bitvaria.com/tag/inference/) - [llm](https://bitvaria.com/tag/llm/) Share: [Back to Blog](https://bitvaria.com/blog/)