Lexikon · N
NPU

Im Datenblatt mancher neuer Laptops steht ein dritter Rechenbaustein neben Hauptprozessor und Grafik. Microsoft nennt als Beispiele Geräte mit Qualcomm Snapdragon X, AMD Ryzen AI 300 und Intel Core Ultra 200V1. Apple nennt die vergleichbare Einheit Neural Engine; im M4 schafft sie laut Apple 38 Billionen Rechenoperationen pro Sekunde2. Gemeint ist überall dasselbe: ein Chipteil, der die Rechenarten neuronaler Netze sparsamer erledigt als CPU und Grafik6.
Was die TOPS-Zahl verrät
TOPS steht für "trillion operations per second", auf Deutsch Billionen Operationen pro Sekunde. Die Zahl beschreibt die Spitzenleistung der Recheneinheit. Über den Speicher sagt sie nichts, dabei legt bei Sprachmodellen vor allem der Speicher fest, was überhaupt läuft.
Dazu kommt die Zahlengenauigkeit. Viele NPUs rechnen laut Microsoft nur mit Ganzzahlen in niedriger Bitbreite wie INT8, deshalb müssen Modelle vorher umgewandelt werden1. Dieses Verkleinern heißt Quantisierung. Microsoft verweist auf fertig umgewandelte Modelle im Qualcomm AI Hub und im ONNX Model Zoo; eigene Modelle lassen sich mit dem Werkzeug Olive für die NPU verkleinern und übersetzen1. Ein direkter Vergleich mit Grafikkarten führt schnell in die Irre: NVIDIA gibt für die RTX 4090 1321 "AI TOPS" an, ohne auf der Vergleichsseite die Genauigkeit zu nennen3.
Wofür Windows die NPU einsetzt
Die KI-Funktionen der Copilot+ PCs laufen auf der NPU und sind für Programme über Schnittstellen in Windows erreichbar1. Entwickler sollen dafür Windows ML nutzen. Es arbeitet intern mit ONNX Runtime, sucht den passenden Treiber für den Chip und weicht auf Grafik oder Hauptprozessor aus, wenn die NPU ausfällt1. Im Task-Manager zeigt Windows die Auslastung der NPU neben CPU und GPU an1. Allein arbeitet die NPU dabei nicht: Bei den Snapdragon-Chips verteilt Windows die Aufgaben laut Microsoft auf NPU, CPU und GPU, je nachdem, wo sie am sparsamsten und schnellsten laufen1.
Der Vorteil liegt im Stromverbrauch. Microsoft nennt Liveübersetzung und Bilderzeugung als typische Aufgaben und verspricht dafür lange Akkulaufzeit, weil die NPU solche Rechnungen mit weniger Energie erledigt als Grafik oder Hauptprozessor16.
Lokale Sprachmodelle und die NPU
Für den Chat mit einem lokalen Sprachmodell spielt die NPU heute eine kleine Rolle. Ollama unterstützt laut eigener Dokumentation Grafikkarten von NVIDIA und AMD, Apple über Metal und weitere Karten über Vulkan; NPUs tauchen in der Liste nicht auf4. In llama.cpp gibt es mit OpenVINO ein Backend, das unter anderem Intels NPU anspricht5. Für die gängigen Werkzeuge entscheidet trotzdem die GPU mit ihrem eigenen Speicher, wie groß ein Modell sein darf und wie schnell es antwortet. Welche Programme du dafür brauchst, zeigt der Einstieg in lokale KI.
Die NPU ist damit ein Baustein der Edge AI: kleine, angepasste Modelle direkt auf dem Gerät, ohne Umweg über ein Rechenzentrum.
Häufige Fragen
Brauche ich einen Copilot+ PC, um ChatGPT zu nutzen?
Nein. ChatGPT läuft im Browser oder in der App und rechnet beim Anbieter. Die NPU beschleunigt nur Funktionen, die auf dem Gerät selbst laufen.
Wie sehe ich, ob die NPU gerade arbeitet?
Auf Geräten mit NPU zeigt der Windows-Task-Manager unter "Leistung" eine eigene Kurve für die NPU1.
Ist eine NPU schneller als eine Grafikkarte?
In der Regel nicht. Grafikkarten nennen weit höhere TOPS-Werte und haben eigenen schnellen Speicher3. Die NPU ist auf geringen Stromverbrauch ausgelegt.
Quellen
Stand:
- Microsoft Learn: Copilot+ PCs developer guide, Stand 19.08.2026, abgerufen am 22.11.2026. zurück
- Apple Newsroom: Apple stellt M4 Chip vor, Stand 07.05.2024, abgerufen am 22.11.2026. zurück
- NVIDIA: GeForce-Grafikkarten im Vergleich: technische Daten, abgerufen am 22.11.2026. zurück
- Ollama: Hardware support, abgerufen am 22.11.2026. zurück
- ggml-org: llama.cpp: Build-Anleitung und Backends, abgerufen am 22.11.2026. zurück
- Microsoft Support: All about neural processing units (NPUs), abgerufen am 22.11.2026. zurück




