Zum Inhalt
KI-BlogBriefing zu künstlicher Intelligenz

Lexikon · N

NPU

Kurzantwort

NPU steht für Neural Processing Unit, ein Rechenwerk im Prozessor, das KI-Aufgaben mit wenig Strom erledigt⁠6. Für viele Funktionen der Copilot+ PCs verlangt Microsoft eine NPU mit mehr als 40 Billionen Rechenoperationen pro Sekunde (TOPS)⁠1.

Autor
Veröffentlicht
Geprüft
Lesezeit
3 Minuten
Umgedrehter Laptop mit abgenommenem Bodendeckel auf einer Werkbank, sichtbar sind Hauptplatine, Kupfer-Heatpipe, Lüfter und Akku, daneben ein Satz feiner Schraubendreher
Die NPU steckt im Prozessor, der unter der Heatpipe sitzt. Bild: KI-generiert

Im Datenblatt mancher neuer Laptops steht ein dritter Rechenbaustein neben Hauptprozessor und Grafik. Microsoft nennt als Beispiele Geräte mit Qualcomm Snapdragon X, AMD Ryzen AI 300 und Intel Core Ultra 200V⁠1. Apple nennt die vergleichbare Einheit Neural Engine; im M4 schafft sie laut Apple 38 Billionen Rechenoperationen pro Sekunde⁠2. Gemeint ist überall dasselbe: ein Chipteil, der die Rechenarten neuronaler Netze sparsamer erledigt als CPU und Grafik⁠6.

Was die TOPS-Zahl verrät

TOPS steht für "trillion operations per second", auf Deutsch Billionen Operationen pro Sekunde. Die Zahl beschreibt die Spitzenleistung der Recheneinheit. Über den Speicher sagt sie nichts, dabei legt bei Sprachmodellen vor allem der Speicher fest, was überhaupt läuft.

Dazu kommt die Zahlengenauigkeit. Viele NPUs rechnen laut Microsoft nur mit Ganzzahlen in niedriger Bitbreite wie INT8, deshalb müssen Modelle vorher umgewandelt werden⁠1. Dieses Verkleinern heißt Quantisierung. Microsoft verweist auf fertig umgewandelte Modelle im Qualcomm AI Hub und im ONNX Model Zoo; eigene Modelle lassen sich mit dem Werkzeug Olive für die NPU verkleinern und übersetzen⁠1. Ein direkter Vergleich mit Grafikkarten führt schnell in die Irre: NVIDIA gibt für die RTX 4090 1321 "AI TOPS" an, ohne auf der Vergleichsseite die Genauigkeit zu nennen⁠3.

Wofür Windows die NPU einsetzt

Die KI-Funktionen der Copilot+ PCs laufen auf der NPU und sind für Programme über Schnittstellen in Windows erreichbar⁠1. Entwickler sollen dafür Windows ML nutzen. Es arbeitet intern mit ONNX Runtime, sucht den passenden Treiber für den Chip und weicht auf Grafik oder Hauptprozessor aus, wenn die NPU ausfällt⁠1. Im Task-Manager zeigt Windows die Auslastung der NPU neben CPU und GPU an⁠1. Allein arbeitet die NPU dabei nicht: Bei den Snapdragon-Chips verteilt Windows die Aufgaben laut Microsoft auf NPU, CPU und GPU, je nachdem, wo sie am sparsamsten und schnellsten laufen⁠1.

Der Vorteil liegt im Stromverbrauch. Microsoft nennt Liveübersetzung und Bilderzeugung als typische Aufgaben und verspricht dafür lange Akkulaufzeit, weil die NPU solche Rechnungen mit weniger Energie erledigt als Grafik oder Hauptprozessor⁠16.

Lokale Sprachmodelle und die NPU

Für den Chat mit einem lokalen Sprachmodell spielt die NPU heute eine kleine Rolle. Ollama unterstützt laut eigener Dokumentation Grafikkarten von NVIDIA und AMD, Apple über Metal und weitere Karten über Vulkan; NPUs tauchen in der Liste nicht auf⁠4. In llama.cpp gibt es mit OpenVINO ein Backend, das unter anderem Intels NPU anspricht⁠5. Für die gängigen Werkzeuge entscheidet trotzdem die GPU mit ihrem eigenen Speicher, wie groß ein Modell sein darf und wie schnell es antwortet. Welche Programme du dafür brauchst, zeigt der Einstieg in lokale KI.

Die NPU ist damit ein Baustein der Edge AI: kleine, angepasste Modelle direkt auf dem Gerät, ohne Umweg über ein Rechenzentrum.

Häufige Fragen

Brauche ich einen Copilot+ PC, um ChatGPT zu nutzen?

Nein. ChatGPT läuft im Browser oder in der App und rechnet beim Anbieter. Die NPU beschleunigt nur Funktionen, die auf dem Gerät selbst laufen.

Wie sehe ich, ob die NPU gerade arbeitet?

Auf Geräten mit NPU zeigt der Windows-Task-Manager unter "Leistung" eine eigene Kurve für die NPU⁠1.

Ist eine NPU schneller als eine Grafikkarte?

In der Regel nicht. Grafikkarten nennen weit höhere TOPS-Werte und haben eigenen schnellen Speicher⁠3. Die NPU ist auf geringen Stromverbrauch ausgelegt.

Quellen

Stand:

  1. Microsoft Learn: Copilot+ PCs developer guide, Stand 19.08.2026, abgerufen am 22.11.2026. zurück
  2. Apple Newsroom: Apple stellt M4 Chip vor, Stand 07.05.2024, abgerufen am 22.11.2026. zurück
  3. NVIDIA: GeForce-Grafikkarten im Vergleich: technische Daten, abgerufen am 22.11.2026. zurück
  4. Ollama: Hardware support, abgerufen am 22.11.2026. zurück
  5. ggml-org: llama.cpp: Build-Anleitung und Backends, abgerufen am 22.11.2026. zurück
  6. Microsoft Support: All about neural processing units (NPUs), abgerufen am 22.11.2026. zurück

Weiterlesen

Bilder: KI-generiert

Aus dem Lexikon

Bilder: KI-generiert. Grafiken: KI-Blog