Fachbeiträge
Wie Modelle arbeiten und was aus einem Modellaufruf eine verlässliche Anwendung macht.
Eine Extraktion liest zuverlässig Werte aus Verträgen, bis ein Feld einmal fehlt. Dieselbe Anfrage liefert trotzdem eine Zahl, sauber formatiert, nur erfunden. Warum ein Sprachmodell keine Datenbank ist und was das für die Prüfung bedeutet.
Ein Token ist die kleinste Einheit, in die ein Sprachmodell Text zerlegt. Warum das Modell keine Buchstaben sieht, und was diese eine Tatsache an Kosten und Fehlern erklärt.
Ein Server kann den Anfang einer Anfrage wiederverwenden, statt ihn neu zu berechnen. Das klappt nur, wenn der Anfang Zeichen für Zeichen derselbe ist. Ab dem ersten abweichenden Token ist die Ersparnis weg.
Hinter der Frage stecken drei verschiedene Fragen: wohin die Daten gehen, wie sich das Modell verhält und was im Unternehmen erlaubt ist. Nur die erste löst sich über den Betriebsort.
Bei jedem Token liest die GPU die kompletten Modellgewichte neu, nur um ein einziges Token zu berechnen. Speculative Decoding lässt ein kleines Modell vorausraten und spart genau diese Wartezeit.
Weniger Bits sparen Platz für Modellgewichte. Ob die Antworten noch gut genug sind und das Modell schneller läuft, zeigt erst der Vergleich auf den eigenen Aufgaben.
Eine kurze Antwort kann viel GPU-Speicher blockieren. Paged Attention teilt den KV-Cache in Blöcke auf, die eine Anfrage erst bei Bedarf erhält.
Acht Anfragen starten gleichzeitig auf demselben Server. Die kürzeste ist nach drei Tokens fertig. Trotzdem kommt ihre Antwort erst an, wenn die längste der acht ihr letztes Wort geschrieben hat.
Im Juni knackte ein offenes Modell erstmals die 50-Punkte-Marke im wichtigsten unabhängigen KI-Ranking, sechs Wochen später rückte ein zweites bis auf drei Punkte an die Spitze heran. Warum die Durchschnittszahl für die eigene Entscheidung trotzdem fast irrelevant ist.
Zweimal dieselbe Frage an dasselbe Modell, zweimal eine andere Antwort. Kein Fehler: Das Modell zieht bei jedem Wort aus einer Wahrscheinlichkeitsverteilung. Was Temperature, Top-p und Top-k dabei tatsächlich einstellen.
Bei der einen Anfrage kommt die Antwort sofort und tröpfelt dann langsam. Bei der anderen dauert das erste Wort, danach läuft der Rest zügig durch. Der Grund: zwei Phasen mit unterschiedlichen Grenzen.
Ein KI-Modell sieht ein Bild nie als Pixel. Es zerschneidet es in ein Raster aus Kacheln, die zu Zahlen werden, und liest sie wie Tokens. Warum dabei das Kleingedruckte zuerst verschwindet.
Lohnt sich ein eigener Server für offene KI-Modelle, oder ist ein Abo günstiger? Die ehrliche Kosten- und Hardware-Rechnung für den Mittelstand, Stand 2026.
Dasselbe Modell, dieselbe Frage. Jede Antwort kostet mehr, je länger das Gespräch läuft. Der Grund dafür hat einen Namen: KV-Cache.
