Lokale KI mit dem NVIDIA DGX Spark: Leistung, Preis und Alternativen

Was der DGX Spark ist

Der DGX Spark ist ein kleiner Rechner für den Schreibtisch, laut NVIDIA 150 × 150 × 50,5 mm groß und 1,2 kg schwer. Das Herz ist der GB10 Grace Blackwell Superchip: eine Arm-CPU mit 20 Kernen und eine Blackwell-Grafikeinheit, die sich 128 GB LPDDR5x-Speicher teilen. Das ist der eigentliche Punkt: Große KI-Modelle brauchen viel Speicher, eine normale Grafikkarte hat meist 16 bis 32 GB.

Als Rechenleistung gibt NVIDIA bis zu 1 Petaflop an. Das ist ein theoretischer Spitzenwert im Zahlenformat FP4 und mit Sparsity gerechnet, in der Praxis erreichst du deutlich weniger. Die Speicherbandbreite liegt laut NVIDIA bei 273 GB/s, und genau die bremst, wie schnell ein Modell Text ausgibt. Das Netzteil hat laut NVIDIA 240 W, der Chip ist mit 140 W angegeben. Vorinstalliert ist DGX OS, ein Linux auf Ubuntu-Basis, mit NVIDIAs KI-Software.

• Laut NVIDIA: Inferenz (also Nutzung) von Modellen mit bis zu 200 Milliarden Parametern auf einem Gerät
• Laut NVIDIA: Fine-Tuning (Nachtrainieren) von Modellen bis 70 Milliarden Parameter
• Laut NVIDIA: zwei Geräte direkt per QSFP-Kabel verbunden, 256 GB Speicher, Modelle bis rund 400 Milliarden Parameter
• Laut NVIDIA seit 23. Oktober 2026 auch mit 64 GB, nur über Partner, für Modelle bis 100 Milliarden Parameter
• Bis 4 TB SSD mit Selbstverschlüsselung, 10 GbE, WLAN 7 und ConnectX-7 mit 200 Gbit/s

Preis und Verfügbarkeit in Österreich

Neben der Founders Edition von NVIDIA gibt es Partnergeräte mit demselben Chip: Lenovo ThinkStation PGX, ASUS Ascent GX10, Acer Veriton GN100, Gigabyte AI TOP ATOM, Dell Pro Max with GB10, HP ZGX Nano und MSI EdgeXpert.

Der Preis ist seit dem Start deutlich gestiegen. Laut heise online hob NVIDIA den US-Preis Ende Februar 2026 von rund 4.000 auf rund 4.700 US-Dollar an und nannte knappen Speicher als Grund. Laut Guru3D kostet die 128-GB-Founders-Edition seit Oktober 2026 knapp 7.000 US-Dollar. Die 64-GB-Version startet laut NVIDIA bei 4.999 US-Dollar, Euro-Preise dafür haben wir in Österreich noch nicht gefunden.

Laut geizhals.at liegen die günstigsten Angebote für 128-GB-Geräte am 27. Oktober 2026 bei rund 5.100 € (Lenovo, 1 TB SSD) bis 8.000 € (Founders Edition, 4 TB SSD), jeweils inklusive USt. Das ist eine Momentaufnahme, vergleich am Kauftag.

Wofür lokale KI gut ist und wo die Grenzen liegen

Lokal heißt: Das KI-Modell läuft auf deinem eigenen Gerät, Eingaben gehen nicht an einen Cloud-Anbieter. Dafür brauchst du ein Open-Weight-Modell, dessen Gewichte der Hersteller zum Download freigibt, etwa Llama, Qwen, Mistral, Gemma oder gpt-oss. Die Lizenzen unterscheiden sich, lies sie vor dem Einsatz in der Firma.

Als Software laufen darauf unter anderem Ollama, llama.cpp und vLLM, mit Open WebUI bekommst du eine Chat-Oberfläche im Browser. NVIDIA bietet für den DGX Spark fertige Anleitungen, etwa für Open WebUI, llama.cpp, vLLM und Fine-Tuning.

• Gut geeignet: vertrauliche Dokumente zusammenfassen, Verträge durchsuchen, interne Wissenssuche, Prototypen, Modelle mit eigenen Daten nachtrainieren
• Grenzen: Große Cloud-Modelle sind bei komplexen Aufgaben oft stärker und schneller
• Grenzen: Du wartest Betriebssystem, Modelle und Sicherungen selbst
• Grenzen: Strom. Rechenbeispiel: Würde das Gerät rund um die Uhr die vollen 240 W des Netzteils ziehen, wären das 5,8 kWh pro Tag. Das ist eine Obergrenze, im Alltag und im Leerlauf ist der Verbrauch deutlich niedriger

Alternativen: PC mit Grafikkarte, Mac, EU-Cloud

PC mit Grafikkarte: Modelle, die in den Grafikspeicher passen, laufen darauf meist flott. Eine GeForce RTX 5060 Ti mit 16 GB kostet laut geizhals.at rund 780 bis 800 €, eine RTX 5090 mit 32 GB rund 7.700 bis 7.800 € (Stand 27.10.2026). Zum Vergleich: Ein Modell mit 70 Milliarden Parametern braucht stark komprimiert (4 Bit pro Parameter) rechnerisch schon rund 35 GB plus Arbeitsspeicher für den Text, mehr als eine RTX 5090 hat.

Apple Mac: Auch Macs mit Apple-Chip haben gemeinsamen Arbeitsspeicher, den das Modell nutzen kann. Laut Apple Store Österreich beginnt der Mac mini bei 1.049 € (M6, 16 GB) und lässt sich mit bis zu 64 GB bestellen. Der Mac Studio startet bei 2.999 € (M5 Max, 36 GB) und 6.599 € (M5 Ultra, 96 GB) und ist bis 256 GB konfigurierbar, 512 GB gibt es für den M5 Ultra laut Apple ab Ende Oktober 2026.

EU-Cloud: Ohne eigene Hardware kannst du Open-Weight-Modelle auch bei einem europäischen Anbieter mit Auftragsverarbeitungsvertrag nutzen.

Datenschutz und AI Act: Was lokal besser wird und was bleibt

Laut WKO gibt es drei sichere Wege, KI im Betrieb zu nutzen: ohne echte Daten testen, europäische Anbieter mit AV-Vertrag oder die KI lokal betreiben. Als Beispiel für den dritten Weg nennt die WKO eine lokale Mistral-Instanz auf einem Firmenserver für interne Dokumentation, mit einem IT-Partner für die Installation.

Lokal gehen keine Daten an einen Cloud-Anbieter und nicht in Drittländer wie die USA. Hat ein IT-Dienstleister Fernzugriff auf das Gerät, brauchst du mit ihm aber in der Regel einen AV-Vertrag. Die DSGVO gilt trotzdem: Laut Datenschutzbehörde bleibt in der Regel der Betrieb, der ein KI-System einsetzt, Verantwortlicher, und Grundsätze wie Zweckbindung, Datenminimierung, Richtigkeit und Sicherheit gelten auch hier. Die DSB weist außerdem darauf hin, dass KI-Ergebnisse wahrscheinlich klingen und trotzdem falsch sein können.

Auch der EU AI Act gilt unabhängig davon, wo das Modell läuft. Nach Art. 4 sollen Betriebe, die KI-Systeme einsetzen, Maßnahmen setzen, um die KI-Kompetenz ihrer Mitarbeitenden zu fördern. Die Pflicht gilt seit 2. Februar 2025 und wurde laut RTR im Juli 2026 durch den Digital-Omnibus geändert, ein bestimmtes Kompetenzniveau muss danach nicht garantiert werden. Als Maßnahmen nennt die RTR-KI-Servicestelle etwa interne Schulungen. Im Einzelfall frag bei der RTR oder deiner WKO nach.

Selbst einrichten oder einrichten lassen

Wenn du dich mit Linux auskennst, kommst du mit NVIDIAs Anleitungen recht weit: Gerät anschließen, vLLM oder llama.cpp starten, Open WebUI dazu, fertig ist der interne Chat. Aufwendiger sind Wissenssuche, Benutzerrechte und Sicherungen.

Wenn du es lieber machen lässt: Beschreib einmal, was die KI für dein Team erledigen soll, und vergleiche Angebote von IT-Dienstleistern. Lass dir Einrichtung, monatliche Wartung und Einschulung getrennt ausweisen.

1. 1

   Anwendungsfall testen

   Mit einem kleinen Modell auf vorhandener Hardware prüfen, ob die Qualität reicht.

2. 2

   Hardware wählen

   Nach Modellgröße und Anzahl der Nutzer: Mac, PC mit Grafikkarte oder DGX Spark.

3. 3

   Einrichten und absichern

   Benutzer, Netzwerkzugriff, Verschlüsselung und Sicherungen festlegen, bevor echte Dokumente hineinkommen.

4. 4

   Team schulen

   Kurze Einschulung mit klaren Regeln, was hinein darf. Datum und Teilnehmer notieren.

Häufige Fragen