GPU-VRAM-Bedarf-Rechner
Wer ein Modell lokal auf der eigenen GPU laufen lässt, braucht genug VRAM für die Gewichte, den KV-Cache des Kontextfensters und etwas Overhead. Dieser Rechner schätzt aus Parameterzahl, Quantisierungstiefe und Kontextlänge, ob dein Modell auf eine 24-GB- oder 80-GB-Karte passt und wie viel Reserve bleibt.
Dieses Tool ist für Mitglieder
Dieses Premium-Tool schaltest du mit einem kostenlosen Konto frei — zusammen mit allen anderen Profi-Tools und den ganzen Wissen-Artikeln.
100 % kostenlos · keine Kreditkarte · sofort freigeschaltet
Wozu dient der GPU-VRAM-Bedarf-Rechner?
Wer ein LLM lokal auf der eigenen GPU betreibt, braucht VRAM für drei Dinge: die Gewichte des Modells, den KV-Cache des Kontextfensters und etwas Overhead. Dieser Rechner schätzt den Bedarf aus Parameterzahl, Quantisierungstiefe, Kontextlänge sowie Layer- und Hidden-Size und vergleicht ihn mit deinem verfügbaren VRAM.
Setze ihn ein, bevor du ein Modell herunterlädst, um zu klären, ob es auf eine 24-, 48- oder 80-GB-Karte passt und wie viel Reserve bleibt. Der Wert für den maximal möglichen Kontext zeigt, wie weit du das Kontextfenster ausreizen kannst, ohne den Speicher zu sprengen. Die GPU-Klassen-Empfehlung gibt eine schnelle Orientierung für die Hardwarewahl.
Beispiele
- Ein 8-Mrd.-Modell in 4 bit braucht rund 4 GB für Gewichte, der KV-Cache bei 8.192 Token und 32 Layern kommt obendrauf, gesamt liegt der Bedarf knapp über 8 GB.
- Dasselbe Modell in FP16 belegt rund 16 GB allein für die Gewichte und passt damit nicht mehr komfortabel auf eine 16-GB-Karte.
- Auf einer 24-GB-Karte bleibt bei 4-bit-Quantisierung reichlich Reserve, die Auslastung liegt unter 50 %.
- Ein 70-Mrd.-Modell in 4 bit braucht rund 35 GB für Gewichte und landet in der Empfehlung bei der 48-GB-Klasse.
Häufige Fragen zum GPU-VRAM-Bedarf-Rechner
Was ist der KV-Cache?
Beim Generieren speichert das Modell die Schlüssel- und Wertevektoren aller bisherigen Token, um nicht alles neu zu berechnen. Dieser Cache wächst mit der Kontextlänge und belegt zusätzlichen VRAM.
Wie stark senkt Quantisierung den Bedarf?
4-bit-Quantisierung benötigt nur ein Viertel des Gewichtsspeichers von FP16 bei meist geringem Qualitätsverlust. 8 bit halbiert den Bedarf gegenüber FP16.
Sind die Werte exakt?
Es ist eine Schätzung. Reale Implementierungen haben zusätzlichen Overhead durch Aktivierungen, Fragmentierung und Framework-Puffer, daher ist etwas Reserve sinnvoll.
Was tun, wenn es nicht passt?
Stärker quantisieren, das Kontextfenster verkleinern, ein kleineres Modell wählen oder die Last über mehrere GPUs verteilen.
