# Die beste GPU für LLM-Inferenz: DGX Spark, H100, L40S und RTX im Vergleich

Welche GPU für eigene Inferenz? DGX Spark, H100, L40S und RTX 4090 nach dem, was zählt: wie viel Modell hineinpasst, wie viel Durchsatz herauskommt und was der Monat kostet.

## Warum „die schnellste GPU“ die falsche Frage ist

Die Frage nach der besten GPU für Inferenz beginnt fast immer beim Durchsatz und landet bei der teuersten Karte. Das ist der falsche Einstieg. Eine GPU, auf die dein Modell nicht passt, ist unendlich langsam, egal wie viele Tokens pro Sekunde das Datenblatt verspricht. Kapazität kommt vor Tempo. Erst wenn das Modell hineinpasst, wird Geschwindigkeit überhaupt zur Frage.

## Zuerst die Kapazität: passt das Modell?

Der Speicher entscheidet, was überhaupt läuft. Vier Karten, vier Grössenklassen:

- **RTX 4090, 24 GB:** genug für kleine Modelle bis etwa 13B in Quantisierung, Entwicklung und Einzelnutzer.
- **L40S, 48 GB:** die Mittelklasse, komfortabel für mittelgrosse Modelle bis rund 30B in Quantisierung, mit Reserve für den Kontext.
- **H100, 80 GB:** grosse Modelle mit Tempo, hohe parallele Last, Training.
- **DGX Spark, 128 GB Unified Memory:** fasst die grössten offenen Modelle am Stück, dort wo den anderen Karten schlicht der Platz ausgeht.

Wie viel Speicher dein Modell wirklich braucht, inklusive KV-Cache und Overhead, rechnest du mit der Formel aus dem Beitrag [VRAM richtig berechnen](/de/wissen/vram-modell-gpu-berechnen).

## Dann der Durchsatz: Bandbreite gegen Kapazität

Kapazität und Geschwindigkeit sind nicht dasselbe. Die H100 sitzt auf schnellem HBM-Speicher und liefert rohen Durchsatz, ideal, wenn viele Anfragen parallel laufen oder Training ansteht. Die DGX Spark tauscht einen Teil dieser Bandbreite gegen Kapazität: 128 GB Unified Memory halten ein Modell, das auf keiner 80-GB-Karte am Stück läuft, dafür ist sie bei hohem parallelem Durchsatz nicht im selben Rennen. Das ist kein Mangel, sondern eine andere Auslegung. Die Maschine ist für den ruhigen Betrieb grosser Modelle gebaut, nicht für maximale Requests pro Sekunde.

## Die Karten im Profil

**RTX 4090** ist die Entwicklerkarte. Günstig, schnell für kleine Modelle, aber als Consumer-Hardware im Rechenzentrum lizenzrechtlich heikel und ohne ECC-Speicher. Gut für den Prototyp, nicht für den Dauerbetrieb.

**L40S** ist der Preis-Leistungs-Punkt für stetige Inferenz mittelgrosser Modelle. Rechenzentrumstauglich, sparsam, ohne die Kosten einer H100.

**H100** ist die Wahl, wenn Durchsatz oder Training den Ausschlag geben. Teuer, aber in ihrer Klasse konkurrenzlos schnell.

**DGX Spark** ist die Maschine für den Fall, dass das Modell gross und der Durchsatz moderat ist: Entwicklung an grossen Modellen, souveräner Betrieb, ohne fünf Karten zusammenzuschalten.

## Die Empfehlung nach Anwendungsfall

- **Prototyp, kleines Modell, ein Nutzer:** RTX 4090.
- **Stetige Inferenz, mittleres Modell:** L40S.
- **Hoher paralleler Durchsatz oder Training:** H100.
- **Grösstes Modell ruhig und souverän betreiben:** DGX Spark.

Bei twentyone bekommst du die beiden rechenzentrumstauglichen Enden dieser Spanne als [Bare Metal](/de/bare-metal) mit Root-Zugriff: die [DGX Spark](/de/dgx-spark) für grosse Modelle am Stück, die H100 für Durchsatz und Training. Beide stehen physisch in der Schweiz.

## Erst der Workload, dann die Karte

Die beste GPU ist die kleinste, auf der dein Workload sauber läuft. Wer beim Durchsatz beginnt, kauft zu gross; wer bei der Kapazität beginnt, findet meist eine günstigere Karte, die reicht. Sag uns Modell und Last, dann rechnen wir dir die passende Maschine vor, die Ansätze stehen offen auf der [Preisseite](/de/preise).