DGX Spark gegen Cloud-GPU: wann sich eigene Hardware lohnt

„Sollen wir das in der Cloud laufen lassen oder eigene Hardware nehmen?“ Die Antwort hängt weniger am Preisschild als an drei Eigenschaften deines Workloads: Speicherbedarf, Durchsatz und wie streng deine Anforderungen an die Datenhoheit sind.

DGX Spark: Speicher statt rohe Gewalt

Die DGX Spark setzt auf 128 GB Unified Memory. CPU und GPU teilen sich denselben Speicher, sodass grosse Modelle in den Speicher passen, ohne ständig über PCIe nachgeladen zu werden. Das macht sie stark für Inferenz grosser, offener Modelle und für lokale Entwicklung. Sie ist keine Trainings-Bestie, sondern die effiziente Maschine für den täglichen Betrieb.

H100: für Durchsatz und Training

Geht es um sehr viele Tokens pro Sekunde oder um Fine-Tuning, zählt rohe Rechenleistung. Dafür ist die H100 gebaut. Beide Maschinen gibt es bei uns bare metal, die Wahl hängt also an der Aufgabe, nicht am Anbieter.

Hyperscaler-Cloud: flexibel, aber nicht souverän

Eine GPU bei einem grossen Cloud-Anbieter ist in Minuten da und wieder weg. Diese Flexibilität ist real und manchmal genau richtig, etwa für einen kurzen Lastpeak. Der Preis dafür: Deine Daten liegen ausserhalb der Schweiz, und die Rechnung schwankt mit Traffic und Nebenkosten, die im Stundensatz nicht stehen.

Wann was gewinnt

Nimm die Cloud, wenn du unvorhersehbare, kurze Lastspitzen hast und Datenhoheit keine Rolle spielt. Nimm eigene, gemietete Hardware, wenn du konstante Last fährst, die Kosten planen willst oder deine Daten in der Schweiz bleiben müssen.

Für die meisten produktiven AI-Workloads mit Dauerlast ist eine dedizierte DGX Spark die ruhigere und am Ende günstigere Wahl, zumal wir sie monatsweise als planbare Pauschale abrechnen statt mit einem schwankenden Stundenzähler. Im Zweifel rechnen wir es dir für deinen konkreten Fall durch.