gpu vps
KI-Inferenz und Feintuning
Eine ganze GPU, durchgereicht, zu einer Bindung, die die Rechnung aufgehen lässt.
Was wir bereitstellen würden
287 €/Mo
410 €−30% jährlich
Zeitlich geslicte vGPUs machen Benchmarks bedeutungslos und speichergebundene Inferenz unberechenbar. FUSION reicht die gesamte physische Karte über PCIe Gen5 durch, sodass das Gerät, das Sie sehen, das Gerät ist, das Sie haben: voller Speicher, volle Taktraten, direkter Treiberzugriff, kein Scheduler zwischen Ihren Kernen und dem Silizium.
Warum diese Konfiguration
Starten Sie auf einer RTX 4090 für Modelle bis etwa 30 Milliarden Parameter (quantisiert), wechseln Sie für 48 GB Speicher zur L40S oder nehmen Sie eine H100 NVL, wenn Sie die Bandbreite brauchen. Im Jahreszyklus liegt eine 4090 preislich nahe bei zwei Monaten On-Demand-Kapazität anderswo – das macht lange Feintuning-Läufe überhaupt erst erschwinglich.
Was wir bereitstellen würden
Sizing
Gewichte plus KV-Cache, dann auf eine reale Karte aufrunden. Gewichte sind Parameter mal Bytes pro Parameter: 8B bei fp16 sind 16 GB, 70B bei 4-bit etwa 40 GB. Der KV-Cache ist der Teil, den man vergisst – er skaliert mit Batch mal Kontext. Also: 8B fp16 auf einer RTX 4090 (24 GB), 70B quantisiert auf einer L40S (48 GB), 70B bei fp8 mit langem Kontext und echtem Batching auf einer H100 NVL (94 GB). RTX 4000 Ada eignet sich für Embeddings und kleine Vision-Modelle.
Passthrough, nicht vGPU
FUSION reicht das gesamte PCIe-Gerät über IOMMU an Ihre VM durch. Die Karte erscheint in lspci, nvidia-smi berichtet direkt, und Sie installieren jeden Treiber und jede CUDA-Version, die Ihr Stack braucht. Nichts wird mit anderen Mandanten zeitlich geslicet, und kein Lizenzserver steht zwischen Ihnen und der Hardware. vGPU ist das Gegenteil: Der Hypervisor partitioniert die Karte, plant Slices zwischen Gästen und bindet Sie an die Treiber-Version, die der Host fährt. Für Inferenz zählt das doppelt: MPS und CUDA-Graphen verhalten sich vorhersehbar, und VRAM ist wirklich Ihres, statt ein Kontingent, das die Zuteilung eines anderen Gastes unter Druck setzen kann.
Durchsatz ist ein Batching-Problem
Eine einzelne Anfrage lässt den Großteil einer modernen GPU ungenutzt. Decode ist speicherbandbreitenlimitiert, also wird Tokens pro Sekunde für einen Stream durch die VRAM-Bandbreite bestimmt und bewegt sich kaum mit mehr Rechenleistung. Nebenläufigkeit ist der Punkt, an dem das Silizium sich auszahlt. Continuous Batching in vLLM oder TensorRT-LLM treibt den aggregierten Durchsatz um ein Vielfaches über naives Serving – auf Kosten von VRAM für den wachsenden KV-Cache. Das ist die eigentliche Dimensionierungs-Spannung: Jedes Gigabyte, das Sie für Gewichte ausgeben, fehlt für Nebenläufigkeit. Ein 70B auf 4-bit zu quantisieren ist in der Summe oft schneller als fp16, schon allein, weil es Platz für Batching lässt.
Was schiefgeht
- Nur auf Gewichte achten. Der KV-Cache wächst linear mit Batch und Kontext, also läuft ein 8B-Modell, das in 16 GB lädt, bei 32k Kontext und Batch 16 in den OOM. Berechnen Sie den Cache, bevor Sie die Karte wählen.
- Annehmen, dass Consumer-Karten skalieren. Die 4090 hat kein NVLink, und Peer-to-Peer über PCIe ist deaktiviert, also ist Tensor Parallel über zwei Karten langsam. Verwenden Sie eine größere Karte, nicht zwei kleinere.
- Überall fp8 erwarten. fp8 braucht Ada oder Hopper. Die Quantisierung auf fp8 auf älterem Silizium fällt auf Emulation zurück und läuft langsamer als der fp16-Pfad, den Sie ersetzt haben.
Maschine optimieren
- Speicher und Verschlüsselung — ZFS with hourly snapshots · 7 €
- Adressierung und Transit — Uplink upgrade to 10 Gbps · 19 €
- Sonstiges — Second-resolution metrics + alerting · 5 €
Mehr
Für bestimmte Aufgaben gebaut
Game-Server-Hosting
Tickrate ist ein Single-Thread-Problem. Alles andere ist Rauschen.
Trading- und Low-Latency-VPS
Distanz zur Matching-Engine und nichts zwischen dir und der Leitung.
Private VPN- und Proxy-Endpunkte
Dein eigener Exit, in einer Jurisdiktion, die du absichtlich gewählt hast.
Seedboxen und Massenspeicher
Terabytes, die günstig bleiben, und ein Port, der offen bleibt.
Kubernetes-Worker-Nodes
Günstig pro Kern, dicht und jedes Mal identisch.
Hosting-Reseller
Ihre Marke im Panel, unsere Hardware darunter.