Zum Energieverbrauch von KI kursieren Zahlen, die sich um Größenordnungen unterscheiden. Bevor man rechnet, lohnt der Blick darauf, warum das so ist.

Warum die Zahlen schwanken

  • Anbieter berichten unterschiedlich und lückenhaft
  • Modellgröße und Antwortlänge gehen selten in die Angabe ein
  • Manche Werte enthalten die Kühlung, andere nicht
  • Trainings- und Nutzungsverbrauch werden vermischt
Konsequenz

Einzelne Verbrauchszahlen je Anfrage taugen nicht als Grundlage für Entscheidungen. Was trägt, sind Verhältnisse: Ein kleineres Modell verbraucht weniger als ein größeres, eine vermiedene Anfrage verbraucht nichts.

Die zwei Phasen

Training
  • Einmalig je Modellversion
  • Sehr hoher Verbrauch in kurzer Zeit
  • Vom Anwender nicht beeinflussbar
  • Verteilt sich auf alle späteren Nutzungen
Nutzung
  • Dauerhaft, je Anfrage
  • Einzeln gering, in Summe größer als das Training
  • Vom Anwender beeinflussbar
  • Steigt mit dem Erfolg der Anwendung

Was auf Anwenderseite wirkt

  1. Modellgröße an die Aufgabe anpassen

    Eine Klassifizierung in fünf Kategorien braucht kein Spitzenmodell. Kleinere und quantisierte Modelle senken Verbrauch und Kosten gleichzeitig.

  2. Wiederkehrende Antworten zwischenspeichern

    Dieselbe Frage zweimal zu berechnen ist der häufigste vermeidbare Aufwand.

  3. Kontext kürzen

    Nicht den gesamten Dokumentenbestand mitschicken, sondern gezielt suchen. Das spart Rechenleistung und verbessert die Antwort.

  4. Nach Standort und Kühlung fragen

    Rechenzentren verbrauchen neben Strom auch Wasser. Beim Anbieter danach zu fragen ist zulässig und selten.

Der wirksamste Hebel liegt nicht in der Modellwahl, sondern in der Frage, wie viele Anfragen überhaupt nötig sind.