Zum Inhalt
KI-BlogBriefing zu künstlicher Intelligenz

Lexikon · V

Variational Autoencoder

Kurzantwort

Ein Variational Autoencoder presst Daten mit einem Kodierer in eine kompakte Zwischendarstellung und baut sie mit einem Dekodierer wieder auf⁠1. Weil er dabei eine Wahrscheinlichkeitsverteilung lernt, lassen sich aus der Zwischendarstellung auch neue, ähnliche Beispiele ziehen. In Bildgeneratoren wie Stable Diffusion übersetzt ein solcher Autoencoder zwischen dem Bild und dem kleineren Arbeitsraum des Modells⁠34.

Autor
Veröffentlicht
Geprüft
Lesezeit
3 Minuten
Sanduhrform aus gestapelten Schichten, die von breit über eine schmale Mitte wieder breit werden, links ein Bild als Eingabe, rechts das wiederhergestellte Bild
Der Kodierer verdichtet, der Dekodierer baut wieder auf. Grafik: KI-Blog

Wer Bilder mit Stable Diffusion erzeugt, begegnet früher oder später VAE-Dateien. Auf Hugging Face gibt es sie einzeln zum Austauschen, etwa eine nachtrainierte Fassung für Stable Diffusion, die sich mit der Bibliothek Diffusers laden lässt⁠3. Dahinter steckt ein Verfahren, das Diederik Kingma und Max Welling im Dezember 2013 vorgestellt haben⁠1. Im Bildmodell sorgt es dafür, dass aus den Zahlen, mit denen das Modell rechnet, am Ende ein sichtbares Bild wird.

Kodieren, verdichten, dekodieren

Ein gewöhnlicher Autoencoder hat die Form einer Sanduhr. Der Kodierer verkleinert die Eingabe Schicht für Schicht bis zu einer schmalen Mitte, dem latenten Raum; der Dekodierer vergrößert sie wieder auf die ursprüngliche Größe. Trainiert wird darauf, dass die Ausgabe der Eingabe möglichst gleicht. Weil die Mitte zu schmal für alle Einzelheiten ist, muss das Netz lernen, was an den Daten wesentlich ist.

Der Variational Autoencoder beschreibt jedes Beispiel in der Mitte als kleine Wolke mit Mittelwert und Streuung. Kingma und Welling zeigten, wie sich ein solches Modell mit gewöhnlichen Gradientenverfahren wie dem Gradientenabstieg trainieren lässt; der zugehörige Rechentrick heißt Reparametrisierung⁠1. Dabei zieht das Netz zunächst reines Rauschen und verschiebt und streckt es dann mit Mittelwert und Streuung, sodass der Zufall den Weg der Gradienten beim Training nicht unterbricht. Der latente Raum wird dadurch gleichmäßiger, sodass ein zufällig gewählter Punkt darin nach dem Dekodieren oft ein neues, plausibles Beispiel ergibt. In Diffusers liefert der Kodierer entsprechend Mittelwert und Varianz einer Normalverteilung zurück, aus der sich Stichproben ziehen lassen⁠3.

Der VAE in Stable Diffusion

Im Dezember 2021 verlegte eine Gruppe um Robin Rombach die Arbeit eines Diffusionsmodells in den latenten Raum eines vortrainierten Autoencoders⁠2. Diffusionsmodelle, die direkt auf Bildpunkten rechnen, brauchten oft Hunderte GPU-Tage fürs Training; im verdichteten Raum wurde das Training auf kleinerer Hardware möglich und die Bilderzeugung günstiger⁠2. Stable Diffusion ist ein solches latentes Diffusionsmodell⁠4.

Bei Stable Diffusion 1.4 verkleinert der Autoencoder ein Bild in Höhe und Breite um den Faktor 8 und legt es in vier Kanälen ab⁠4. Aus einem Bild mit 512 mal 512 Bildpunkten wird so ein Raster von 64 mal 64 Stellen. Das Diffusionsmodell arbeitet nur in diesem kleinen Raster; erst ganz am Ende rechnet der Dekodierer das Ergebnis in Bildpunkte zurück. Die Modellkarte nennt diesen Teil ausdrücklich verlustbehaftet⁠4, feine Details können also verloren gehen.

Bei großen Bildern belegt der Dekodierer viel Grafikspeicher. Diffusers kann ihn deshalb in Kacheln arbeiten lassen, was den Speicherbedarf unabhängig von der Bildgröße hält, aber leichte Übergänge zwischen den Kacheln erzeugen kann⁠3. Bei knappem VRAM hilft diese Einstellung.

Abgrenzung und andere Einsätze

Ein GAN erzeugt Bilder ohne Kodierer, allein aus dem Wettstreit zweier Netze. Außerhalb der Bilderzeugung dient der Fehler beim Wiederherstellen auch der Anomalieerkennung: Was sich schlecht rekonstruieren lässt, weicht vom Gelernten ab, und dafür braucht man keine beschrifteten Fehlerbeispiele.

Häufige Fragen

Brauche ich in ComfyUI eine eigene VAE-Datei?

Nicht unbedingt: Stable Diffusion besteht laut Modellkarte aus einem Autoencoder und einem Diffusionsmodell⁠4, und ein [Checkpoint](/lexikon/checkpoint) enthält den Autoencoder daher schon. Eine gesonderte VAE-Datei ersetzt ihn, etwa durch eine nachtrainierte Fassung⁠3.

Was unterscheidet Autoencoder und Variational Autoencoder?

Ein Autoencoder legt jedes Beispiel als festen Punkt ab und eignet sich vor allem zum Verdichten. Der VAE lernt eine Verteilung und kann deshalb neue Beispiele erzeugen⁠1.

Ist der VAE dasselbe wie das Bildmodell?

Nein. In Stable Diffusion übersetzt er nur zwischen Bild und latentem Raum, das eigentliche Bild entsteht im Diffusionsmodell⁠4.

Quellen

Stand:

  1. arXiv (Kingma, Welling): Auto-Encoding Variational Bayes, Stand 10.12.2022, abgerufen am 22.11.2026. zurück
  2. arXiv (Rombach u. a.): High-Resolution Image Synthesis with Latent Diffusion Models, Stand 13.04.2022, abgerufen am 22.11.2026. zurück
  3. Hugging Face: Diffusers: AutoencoderKL (Version 0.43.0), abgerufen am 22.11.2026. zurück
  4. Hugging Face (CompVis): Modellkarte stable-diffusion-v1-4, abgerufen am 22.11.2026. zurück

Weiterlesen

Bilder: KI-generiert

Aus dem Lexikon

Bilder: KI-generiert. Grafiken: KI-Blog