Ein Server kann den Anfang einer Anfrage wiederverwenden, statt ihn neu zu berechnen. Das klappt nur, wenn der Anfang Zeichen für Zeichen derselbe ist. Ab dem ersten abweichenden Token ist die Ersparnis weg.
Bei jedem Token liest die GPU die kompletten Modellgewichte neu, nur um ein einziges Token zu berechnen. Speculative Decoding lässt ein kleines Modell vorausraten und spart genau diese Wartezeit.
Weniger Bits sparen Platz für Modellgewichte. Ob die Antworten noch gut genug sind und das Modell schneller läuft, zeigt erst der Vergleich auf den eigenen Aufgaben.
Eine kurze Antwort kann viel GPU-Speicher blockieren. Paged Attention teilt den KV-Cache in Blöcke auf, die eine Anfrage erst bei Bedarf erhält.
Acht Anfragen starten gleichzeitig auf demselben Server. Die kürzeste ist nach drei Tokens fertig. Trotzdem kommt ihre Antwort erst an, wenn die längste der acht ihr letztes Wort geschrieben hat.
Eine Extraktion liest zuverlässig Werte aus Verträgen, bis ein Feld einmal fehlt. Dieselbe Anfrage liefert trotzdem eine Zahl, sauber formatiert, nur erfunden. Warum ein Sprachmodell keine Datenbank ist und was das für die Prüfung bedeutet.
