Lexikon · G
GPU (Grafikprozessor)
Kurzantwort
Eine GPU (Graphics Processing Unit) führt sehr viele gleichartige Rechnungen parallel aus. Neuronale Netze bestehen zum größten Teil aus genau solchen Rechnungen, deshalb beschleunigt ein Grafikprozessor Training und Ausgabe von KI-Modellen stark1.

Ein Hauptprozessor bearbeitet einige Dutzend Threads gleichzeitig, ein Grafikprozessor ist für Tausende gebaut1. NVIDIA erklärt den Unterschied mit der Aufteilung der Chipfläche: Die GPU steckt mehr Transistoren in Recheneinheiten, die CPU mehr in Zwischenspeicher und Ablaufsteuerung1. Das passt zu einem Sprachmodell, das im Kern große Zahlentabellen miteinander multipliziert. Solche Matrizen lassen sich in viele unabhängige Stücke zerlegen, und jedes Stück bekommt ein eigenes Rechenwerk.
Vom Spielechip zum Rechenwerk für neuronale Netze
Lange zeichneten Grafikprozessoren nur Dreiecke und Texturen für Spiele. Auch das ist eine Parallelaufgabe: Die Farbe jedes Bildpunkts lässt sich weitgehend unabhängig von den Nachbarn berechnen, und ein Bild hat Millionen davon. 2006 führte NVIDIA mit CUDA eine Schnittstelle ein, über die Programme beliebige Rechnungen auf die Karte schicken, ohne den Umweg über Grafikbefehle1.
Für das Deep Learning wurde das 2012 sichtbar: Krizhevsky, Sutskever und Hinton trainierten ein Bilderkennungsnetz mit 60 Millionen Parametern und nannten als Grund für das Tempo eine sehr effiziente GPU-Umsetzung2. Die RTX 4090, auf der wir für diesen Blog messen, bringt 16.384 CUDA-Kerne mit, die kleinere RTX 5060 Ti 4.6083.
Ohne genug Speicher hilft die Rechenleistung wenig
Ein Grafikprozessor rechnet schnell, solange die Daten in seinem eigenen Speicher liegen, dem VRAM. Für ein Sprachmodell heißt das: Alle Gewichte sollten dort Platz finden. Llama 3.1 mit 8 Milliarden Parametern braucht in 16-Bit-Genauigkeit allein für die Gewichte rund 16 GB4. Die RTX 4090 hat 24 GB, die RTX 5060 Ti 16 GB3. Welche Karte für welche Modellgröße reicht, vergleichen wir mit Messwerten auf der Seite Grafikkarte für lokale KI.
Rechenleistung kostet Strom. In unserer Probemessung mit einem kleinen Sprachmodell zog die RTX 4090 im Mittel rund 275 Watt, die RTX 5060 Ti rund 157 Watt9. Weil die große Karte entsprechend schneller schrieb, brauchten beide je erzeugtem Token fast gleich viel Energie, knapp eine Wattsekunde9.
Rechenzentren, TPU und andere Beschleuniger
In Rechenzentren arbeiten Karten einer anderen Klasse. Eine NVIDIA H100 SXM hat 80 GB Speicher mit 3,35 TB/s Bandbreite, nimmt bis zu 700 Watt auf und tauscht über NVLink 900 GB/s mit benachbarten Karten aus5. So lassen sich Modelle, die für eine Karte zu groß sind, auf mehrere verteilen.
Google geht mit der Tensor Processing Unit (TPU) einen eigenen Weg. Das ist ein Spezialchip (ASIC), dessen Matrixeinheit als Feld aus 128 mal 128 Rechenzellen aufgebaut ist6. Google empfiehlt TPUs für Modelle, die von Matrizenrechnung dominiert werden und wochenlang trainieren; Grafikprozessoren passen laut derselben Dokumentation besser, wenn ein Modell viele eigene Rechenoperationen enthält6. Für kleine Modelle und schnelle Versuche hält Google sogar den Hauptprozessor für ausreichend6.
Im Laptop übernimmt eine NPU kleinere KI-Aufgaben bei wenig Stromverbrauch. Noch im Forschungsstadium ist das Neuromorphic Computing, das sich am Gehirn orientiert: Intel beschreibt sein System Hala Point mit 1,15 Milliarden künstlichen Neuronen als Forschungsprojekt7.
Häufige Fragen
Brauche ich für ChatGPT eine eigene Grafikkarte?
Nein. ChatGPT und andere Cloud-Dienste rechnen auf den Grafikprozessoren im Rechenzentrum des Anbieters. Eine eigene GPU lohnt sich erst, wenn du Modelle lokal auf deinem Rechner betreibst.
Läuft ein Sprachmodell auch ganz ohne GPU?
Ja, aber deutlich langsamer. Ollama zeigt mit dem Befehl "ollama ps", ob ein Modell vollständig auf der Grafikkarte liegt oder teilweise im Arbeitsspeicher, etwa als "48%/52% CPU/GPU"8.
Ist GPU dasselbe wie Grafikkarte?
Die GPU ist der Chip. Die Grafikkarte trägt diesen Chip zusammen mit dem Grafikspeicher, der Stromversorgung, den Anschlüssen und der Kühlung.
Quellen
Stand:
- NVIDIA: CUDA Programming Guide: Introduction (Version 13.5), Stand 31.10.2026, abgerufen am 22.11.2026. zurück
- NeurIPS Proceedings: Krizhevsky, Sutskever, Hinton: ImageNet Classification with Deep Convolutional Neural Networks (NIPS 2012), Stand 2012, abgerufen am 22.11.2026. zurück
- NVIDIA: GeForce-Grafikkarten im Vergleich: technische Daten, abgerufen am 22.11.2026. zurück
- Hugging Face: Llama 3.1: Inference Memory Requirements, Stand 23.07.2024, abgerufen am 22.11.2026. zurück
- NVIDIA: H100 Tensor Core GPU: Product Specifications, abgerufen am 22.11.2026. zurück
- Google Cloud: Introduction to Cloud TPU, abgerufen am 22.11.2026. zurück
- Intel: Neuromorphic Computing and Engineering, abgerufen am 22.11.2026. zurück
- Ollama: FAQ: How can I tell if my model was loaded onto the GPU?, abgerufen am 22.11.2026. zurück
- Eigene Messung: Probemessung Llama 3.2 3B Q4_K_M mit Ollama 0.40.0 auf RTX 4090 und RTX 5060 Ti, mittlere Leistungsaufnahme der Karte und Tokens je Sekunde, drei Läufe, Stand 22.11.2026, abgerufen am 22.11.2026. zurück




