Zum Inhalt
KI-BlogBriefing zu künstlicher Intelligenz

Lokale KI · Praxistest

Was lokale KI an Strom kostet

Kurzantwort

Beim Antworten zog die RTX 4090 mit Qwen3 14B im Median 324 Watt, die RTX 5060 Ti 165 Watt⁠1. Je Antwort mit 256 Token waren das auf beiden Karten rund 0,27 Wattstunden, bei einem Strompreis von 37,3 Cent je Kilowattstunde also etwa 10 Cent für 1.000 Antworten⁠12. Gemessen ist nur die Grafikkarte, der übrige Rechner kommt dazu.

Autor
Veröffentlicht
Geprüft
Lesezeit
10 Minuten
Dünne, rechtwinklig abknickende Linien in Lachsrosa laufen auf dunkelblauem Grund in einem rechteckigen Block zusammen
Bild: KI-generiert

Ein Sprachmodell auf dem eigenen PC zieht beim Antworten viel Leistung, aber nur für Sekunden. In unserer Messung zog die RTX 4090 mit Qwen3 14B im Median 324 Watt, die RTX 5060 Ti mit demselben Modell 165 Watt⁠1. Weil die kleinere Karte dafür doppelt so lange braucht, kostet eine Antwort auf beiden fast gleich viel: rund 0,27 Wattstunden für 256 Token⁠1. Mit dem durchschnittlichen Haushaltsstrompreis von 37,3 Cent je Kilowattstunde laut BDEW für 2026 sind das etwa 10 Cent für 1.000 Antworten⁠12.

Leistung und Energie der Grafikkarten

Hardware
RTX 4090 (24 GB) und RTX 5060 Ti (16 GB), Treiber 621.35; AMD Ryzen 9 7950X3D, 128 GB
Modell
Qwen3 8B, 14B und 32B (Q4_K_M), SDXL base 1.0 (fp16)
Werkzeug
Ollama 0.40.0, ComfyUI 0.46.0, nvidia-smi
Messgröße
Leistung der Grafikkarte in Watt (Median der mittleren Leistung aus drei Läufen), Wattstunden je Aufgabe, Cent bei 37,3 ct/kWh
Gemessen am
RTX 4090, Qwen3 14B: Leistung324 W
RTX 5060 Ti, Qwen3 14B: Leistung165 W
RTX 4090, Leerlauf15 bis 18 W
RTX 5060 Ti, Leerlauf4 bis 8 W
Qwen3 14B, je Antwort (beide Karten)0,27 Wh
Qwen3 14B, 1.000 Antworten (beide Karten)10 Cent
RTX 4090, SDXL: Leistung387 W
RTX 4090, SDXL: 100 Bilder32 Wh, 1,2 Cent
RTX 5060 Ti, SDXL: 100 Bilder37 Wh, 1,4 Cent

nur Grafikkarte laut nvidia-smi, ohne übrigen Rechner; Antwort mit 256 Token

Was wir gemessen haben und was nicht

Die Leistung stammt aus nvidia-smi, dem Werkzeug des Grafiktreibers, das einmal je Sekunde meldet, wie viel Watt die Karte gerade aufnimmt⁠1. Das ist die Leistung der Grafikkarte allein. Prozessor, Arbeitsspeicher, Mainboard, Lüfter, SSD und die Verluste im Netzteil fehlen in dieser Zahl. Für die Rechnung am Zähler zählt der ganze Rechner, und der braucht mehr.

Eine Messung mit einer Messsteckdose am Netzteil, die genau diesen Gesamtverbrauch erfassen würde, haben wir nicht gemacht. Die Werte im Messwertkasten sind deshalb ausdrücklich Werte der Grafikkarte. Wie groß der Unterschied ist, hängt vom Rechner ab. Ein Beispiel aus unserer Reihe zeigt, warum er bei manchen Aufgaben groß werden kann: Bei Llama 3.3 70B, das zur Hälfte im Arbeitsspeicher lag, zog die RTX 4090 nur 56 Watt, weil der Prozessor den größten Teil der Arbeit machte⁠1. Den Strom des Prozessors sieht nvidia-smi nicht. Dasselbe zeigte sich auf der RTX 5060 Ti mit Qwen3 32B, das zu knapp einem Drittel im Arbeitsspeicher lag: Die Karte zog im Median nur 45 Watt, während die Antwort 51 Sekunden dauerte⁠1. Für ausgelagerte Modelle sagen die Kartenwerte über den Verbrauch des Rechners deshalb wenig aus, wir rechnen für sie keine Kosten.

Leistung unter Last

Die RTX 4090 nahm mit den drei Qwen3-Modellen, die ganz auf die Karte passen, im Median zwischen 310 und 339 Watt auf: 310 Watt mit Qwen3 8B, 324 Watt mit Qwen3 14B und 339 Watt mit Qwen3 32B⁠1. NVIDIA nennt für die Karte eine Leistungsaufnahme von 450 Watt⁠3. Bei kurzen Antworten blieb sie also deutlich darunter.

Die RTX 5060 Ti zog mit Qwen3 8B im Median 157 Watt, mit Qwen3 14B 165 Watt⁠1. NVIDIA gibt für sie 180 Watt an⁠4. Sie lief also näher an ihrer Grenze als die große Karte.

Mehr Leistung zieht die RTX 4090, wenn sie lange Dokumente einliest. In der Reihe zur Kontextlänge lag der Median mit Qwen3 8B bei 346 Watt mit gut 3.000 Token Eingabe und bei 427 Watt mit gut 25.000 Token; in einzelnen Sekunden erreichte die Karte 500 Watt⁠1. Das ist die Leistungsgrenze, die der Treiber für diese Karte meldet⁠1. Was das für die Energie je Antwort bedeutet, steht weiter unten.

Für die Wahl des Netzteils sind diese Spitzen wichtiger als der Durchschnitt. NVIDIA nennt für einen Rechner mit RTX 4090 ein Netzteil mit mindestens 850 Watt, für die RTX 5060 Ti 600 Watt⁠34. Wer zwei Karten in einem Rechner gleichzeitig rechnen lässt, muss die Spitzen beider Karten und des Prozessors zusammenzählen.

Leistung im Leerlauf

Vor den Läufen mit Sprachmodellen, mit geladenem Desktop und ohne Rechenlast, lag die RTX 4090 bei 15 bis 18 Watt, die RTX 5060 Ti bei 4 bis 8 Watt⁠1. An der RTX 4090 hängt in unserem Testrechner der Bildschirm, das erklärt einen Teil des Unterschieds. Zur Spanne innerhalb einer Karte tragen vermutlich die Programme bei, die im Hintergrund weiterliefen, etwa Browser und Mailprogramm; das Messskript beendet keine fremden Prozesse⁠1.

Ollama hält ein Modell nach der letzten Anfrage standardmäßig fünf Minuten im Grafikspeicher und entlädt es dann⁠5. Wie viel ein geladenes, aber untätiges Modell am Leerlauf ändert, haben wir nicht getrennt gemessen. Sicher ist, dass es Speicher belegt, den andere Programme auf derselben Karte dann nicht nutzen können.

Wattstunden je Antwort

Für die Energie einer Antwort zählt, wie viel Leistung die Karte aufnimmt und wie lange sie dafür braucht. Teilt man die Watt durch die Token je Sekunde, ergibt sich die Energie je Token. Mit 256 Token je Antwort, wie in unserer Messung, kommen diese Werte heraus (Rechnung aus Watt und Token je Sekunde)⁠1:

  • Qwen3 8B: 0,15 Wattstunden je Antwort auf der RTX 4090 und ebenfalls 0,15 auf der RTX 5060 Ti⁠1
  • Qwen3 14B: 0,27 Wattstunden auf beiden Karten⁠1
  • Qwen3 32B auf der RTX 4090: 0,61 Wattstunden⁠1

Die beiden Karten brauchen je Token fast genau dieselbe Energie, denn die große Karte ist doppelt so schnell und zieht doppelt so viel Leistung. Für den Verbrauch zählt deshalb vor allem die Modellgröße: Das 32B-Modell braucht je Antwort rund viermal so viel Energie wie das 8B-Modell⁠1.

Lange Dokumente kosten mehr. Mit gut 25.000 Token Eingabe dauerte eine Antwort von Qwen3 8B auf der RTX 4090 rund sechs Sekunden bei 427 Watt, das sind etwa 0,7 Wattstunden, fast fünfmal so viel wie mit kurzem Prompt (Rechnung der Redaktion)⁠1.

Kosten in Cent

Der BDEW nennt für Haushalte im bisherigen Jahresverlauf 2026 einen durchschnittlichen Strompreis von 37,3 Cent je Kilowattstunde, Stand Oktober 2026⁠2. Damit kosten 1.000 Antworten mit 256 Token, nur für die Grafikkarte gerechnet (Rechnung der Redaktion aus Messwerten und Strompreis)⁠12:

  • mit Qwen3 8B rund 5,6 Cent auf beiden Karten⁠12
  • mit Qwen3 14B rund 10 Cent auf beiden Karten⁠12
  • mit Qwen3 32B auf der RTX 4090 rund 23 Cent⁠12

Der Schritt vom 14B- zum 32B-Modell kostet also gut das Doppelte an Strom je Antwort. Ob die Antworten des größeren Modells das wert sind, hängt an der Aufgabe; der Ratgeber lokal oder Cloud fasst veröffentlichte Auswertungen zur Qualität von Qwen3 zusammen.

100 Bilder mit SDXL in 1024 x 1024 Pixeln und 20 Schritten kosten auf der RTX 4090 rund 1,2 Cent: Die Karte zog im Median 387 Watt und brauchte 3,01 Sekunden je Bild, das sind rund 0,32 Wattstunden je Bild (Rechnung aus den Messwerten)⁠12. Die Werte stammen aus derselben Messreihe wie der Praxistest zu den Bildmodellen in ComfyUI.

Nimmt man an, dass der übrige Rechner unter Last noch einmal so viel braucht wie die Karte, kosten 1.000 Antworten mit Qwen3 14B rund 20 Cent (Rechenbeispiel)⁠12. Was die Hardware selbst kostet, behandelt die Seite zum Kauf eines KI-PCs.

Auf einen Tag gerechnet sieht das so aus: Wer 200 Fragen am Tag an Qwen3 14B stellt, verbraucht dafür auf der Grafikkarte rund 54 Wattstunden, das sind etwa 2 Cent am Tag und gut 7 Euro im Jahr (Rechenbeispiel)⁠12. Läuft der Rechner dagegen den ganzen Tag, kostet schon der Leerlauf der RTX 4090 allein mit 15 bis 18 Watt rund 13 bis 16 Cent am Tag, bei der RTX 5060 Ti mit 4 bis 8 Watt rund 4 bis 7 Cent (Rechenbeispiel aus den Ruhewerten)⁠12. Über den Tag gerechnet fällt der Leerlauf also stärker ins Gewicht als die Antworten selbst, und der übrige Rechner ist dabei noch gar nicht eingerechnet.

Bilder kosten anders

Bei Bildmodellen rechnet die Karte länger am Stück. Die Energie je Bild ergibt sich aus der mittleren Leistung während der Berechnung mal den Sekunden je Bild. Mit SDXL bei 1024 x 1024 Pixeln und 20 Schritten lag die Last der RTX 4090 im Mittel bei 81 bis 92 Prozent, die Leistung im Median bei 387 Watt und in der Spitze bei 466 Watt⁠1. Damit lag sie höher als bei kurzen Antworten der Sprachmodelle. Die RTX 5060 Ti zog mit SDXL im Median 167 Watt, brauchte aber 8,05 Sekunden je Bild; das sind rund 0,37 Wattstunden je Bild und damit etwas mehr als auf der großen Karte (Rechnung aus den Messwerten)⁠1. 100 Bilder kosten dort rund 1,4 Cent⁠12. Anders als bei den Sprachmodellen ist die kleine Karte bei Bildern also nicht gleich effizient. FLUX.1 schnell kam auf der RTX 4090 mit 383 Watt und 2,80 Sekunden je Bild auf rund 0,30 Wattstunden je Bild⁠1. Bei Bildern lohnt der Blick auf die Schrittzahl: Jeder Schritt ist ein vollständiger Durchlauf durch das Modell, mit mehr Schritten steigt deshalb auch die Energie je Bild.

Liegende Balken mit den Stromkosten in Cent für 1.000 Antworten verschiedener Sprachmodelle und für 100 Bilder
  1. Balken Kosten in Cent nur für die Grafikkarte
  2. Strompreis BDEW, Durchschnitt Haushalte 2026
Stromkosten der Grafikkarte je Aufgabe. Grafik: KI-Blog

Vergleich mit Schätzungen für Cloud-Anfragen

Für Anfragen an Cloud-Dienste gibt es nur Angaben der Anbieter, keine eigenen Messungen. Google schätzt für eine mittlere Textanfrage an Gemini Apps 0,24 Wattstunden, einschließlich Leerlauf der Server, Prozessoren, Arbeitsspeicher und Kühlung im Rechenzentrum; nur für die Beschleunigerchips allein nennt Google 0,10 Wattstunden⁠6. OpenAI-Chef Sam Altman gibt für eine durchschnittliche Anfrage an ChatGPT etwa 0,34 Wattstunden an⁠7.

Unsere 0,27 Wattstunden für eine Antwort von Qwen3 14B liegen in derselben Größenordnung⁠1. Vergleichbar sind die Zahlen trotzdem nur grob. Google nennt einen Median, Altman einen Durchschnitt, und aus beiden Angaben geht nicht hervor, wie lang die Antworten waren⁠67. Unsere Zahl gilt für eine Antwort mit 256 Token und umfasst nur die Grafikkarte, ohne den Rest des Rechners. Wie viel Energie und Wasser Rechenzentren insgesamt brauchen, ordnet die Seite zum Energieverbrauch der KI ein.

Messweg und Einstellungen

Beide Karten, RTX 4090 und RTX 5060 Ti, stecken zusammen mit einem Ryzen 9 7950X3D von AMD und 128 GB Arbeitsspeicher im selben Rechner und laufen mit dem Grafiktreiber 621.35⁠1. Die Sprachmodelle liefen in Ollama 0.40.0 in der Stufe Q4_K_M, je Karte mit einem eigenen Server, der nur diese Karte sah⁠1. Jede Messung bestand aus einem Aufwärmlauf und drei gezählten Läufen von je mindestens acht Sekunden, denn kürzere Läufe liefern zu wenige Sekundenwerte; gewertet ist der Median der mittleren Leistung⁠1. Die mittlere Leistung eines Laufs ist der Durchschnitt aller Sekundenwerte, die nvidia-smi während dieses Laufs gemeldet hat; die Spitze ist der höchste dieser Werte.

Zum Abschluss der Messreihe haben wir Qwen3 14B auf beiden Karten und SDXL auf der RTX 4090 ein zweites Mal gemessen. Die RTX 4090 zog dabei 331 statt 324 Watt bei 87,0 statt 85,7 Token je Sekunde, die RTX 5060 Ti 164 statt 165 Watt bei 43,4 Token je Sekunde⁠1. Die Energie je Antwort blieb auf beiden Karten bei rund 0,27 Wattstunden (Rechnung aus den Messwerten)⁠1. SDXL brauchte in der Wiederholung mit zehn Bildern je Lauf 3,22 Sekunden je Bild bei 361 Watt, die Energie je Bild lag wie in der ersten Runde bei rund 0,32 Wattstunden⁠1. Kontext 8.192 Token, Temperatur 0, 256 Token Ausgabe, Denkmodus aus.

Vorab prüfte das Messskript, ob die Karte frei war, und hielt die Leistung in Ruhe fest⁠1. Andere Programme liefen im Hintergrund weiter, beendet wurde nichts; ihr Anteil an der Leistung ist in den Ruhewerten enthalten.

Grenzen der Rechnung

Gemessen ist nur die Grafikkarte. Für die Kosten am Zähler musst du den übrigen Rechner dazurechnen, im Leerlauf und unter Last. Wer es genau wissen will, misst mit einer Steckdose mit Leistungsanzeige zwischen Wand und Netzteil, einmal im Leerlauf und einmal während einer längeren Reihe von Anfragen.

Die Rechnung gilt außerdem für kurze Antworten. Längere Antworten kosten entsprechend mehr, lange Eingaben ebenfalls, wie das Beispiel mit 25.000 Token zeigt⁠1. Die Leistung hängt auch an der Karte selbst: NVIDIA macht seine Angaben für das eigene Referenzdesign, Karten anderer Hersteller haben teils andere Taktraten und Leistungsgrenzen⁠3. Und der Strompreis ist ein Durchschnitt; dein Tarif kann darüber oder darunter liegen. Mit deinem eigenen Preis rechnest du die Cent-Werte einfach um: Wattstunden je Antwort mal Anzahl mal Preis je Kilowattstunde, geteilt durch 1.000. Wie viele Token deine typischen Anfragen haben, lässt sich mit einem Token-Zähler abschätzen, und wie viele Tokens pro Sekunde deine Karte schafft, zeigen die Praxistests zur RTX 4090 und zur RTX 5060 Ti.

Was das für dich heißt

Der Strom für einzelne Antworten ist gering, die Modellgröße und die Laufzeit des Rechners bestimmen die Summe.

  1. Wähle das kleinste Modell, das deine Aufgabe zuverlässig löst, das spart am meisten Energie.
  2. Miss den ganzen Rechner mit einer Steckdose mit Leistungsanzeige, einmal im Leerlauf und einmal unter Last.
  3. Rechne die Cent-Werte mit deinem eigenen Strompreis um.
  4. Schalte den Rechner aus oder in den Ruhezustand, wenn er nicht gebraucht wird.

Häufige Fragen

Wie viel Strom verbraucht eine RTX 4090 bei KI?

Beim Antworten mit Sprachmodellen bis 32 Milliarden Parameter zog sie in unserer Messung im Median 310 bis 339 Watt, beim Einlesen langer Dokumente bis 427 Watt im Median und kurzzeitig 500 Watt. Im Leerlauf waren es 15 bis 18 Watt.

Was kostet eine Antwort eines lokalen Sprachmodells?

Mit Qwen3 14B und 256 Token rund 0,27 Wattstunden für die Grafikkarte, bei 37,3 Cent je Kilowattstunde etwa 0,01 Cent. Der übrige Rechner kommt dazu.

Ist eine kleinere Grafikkarte sparsamer?

Je Sekunde ja, je Antwort kaum. Die RTX 5060 Ti zog halb so viel Leistung wie die RTX 4090, brauchte aber doppelt so lange, die Energie je Token war fast gleich.

Braucht lokale KI mehr Strom als ChatGPT?

Unsere Messung liegt mit 0,27 Wattstunden je Antwort in derselben Größenordnung wie die Schätzungen der Anbieter von 0,24 und 0,34 Wattstunden. Die Zahlen sind aber unterschiedlich erhoben und nur grob vergleichbar.

Quellen

Stand:

  1. Eigene Messung: Messreihe Ollama 0.40.0 auf RTX 4090 und RTX 5060 Ti (Treiber 621.35), Testrechner Ryzen 9 7950X3D, 128 GB; Leistung der Karte laut nvidia-smi im Sekundentakt, Qwen3 8B, 14B, 32B, Llama 3.3 70B in Q4_K_M, Kontext 8192 und Kontextreihe, je drei Läufe, Median, Stand 22.11.2026, abgerufen am 22.11.2026. zurück
  2. BDEW: Strompreisanalyse, Stand Oktober 2026, Stand 28.10.2026, abgerufen am 22.11.2026. zurück
  3. NVIDIA: GeForce RTX 4090: technische Daten, abgerufen am 22.11.2026. zurück
  4. NVIDIA: GeForce RTX 5060 Familie: technische Daten, abgerufen am 22.11.2026. zurück
  5. Ollama: Häufige Fragen (FAQ), abgerufen am 22.11.2026. zurück
  6. Google Cloud: Measuring the environmental impact of AI inference, Stand 21.08.2025, abgerufen am 22.11.2026. zurück
  7. Sam Altman: The Gentle Singularity (Blog), abgerufen am 22.11.2026. zurück

Weiterlesen

Bilder: KI-generiert

Aus dem Lexikon

Bilder: KI-generiert