Warum eine Antwort langsamer entsteht, als die GPU erlaubt
Bei jedem Token liest die GPU die kompletten Modellgewichte neu, nur um ein einziges Token zu berechnen. Speculative Decoding lässt ein kleines Modell vorausraten und spart genau diese Wartezeit.