Zum Inhalt
KI-BlogBriefing zu künstlicher Intelligenz

Lexikon · A

Aktivierungs­funktion

Kurzantwort

Ohne Aktivierungsfunktion wäre ein neuronales Netz mit beliebig vielen Schichten am Ende nur eine lineare Funktion seiner Eingabe⁠1. Die Funktion biegt die Summe, die jedes künstliche Neuron berechnet, und erst dadurch kann das Netz verwickelte Zusammenhänge abbilden. Als Standard in den inneren Schichten empfiehlt das Lehrbuch "Deep Learning" die ReLU⁠1.

Autor
Veröffentlicht
Geprüft
Lesezeit
3 Minuten
Drei Funktionskurven nebeneinander: eine S-förmige Sigmoidkurve zwischen 0 und 1, eine S-förmige tanh-Kurve zwischen minus 1 und 1 und die ReLU mit einem Knick bei null
Drei verbreitete Aktivierungsfunktionen: Sigmoid und tanh werden an den Rändern flach, die ReLU knickt bei null ab. Grafik: KI-Blog

Ein künstliches Neuron in einem neuronalen Netz multipliziert seine Eingänge mit Gewichten und zählt alles zusammen. Bevor das Ergebnis an die nächste Schicht geht, schickt es den Wert durch eine Aktivierungsfunktion, eine kleine Formel mit Knick oder Kurve. Welche Formel das ist, beeinflusst, wie schnell und wie zuverlässig das Netz lernt.

Warum lineare Schichten allein nicht reichen

Im Lehrbuch "Deep Learning" wird das an einem kleinen Netz vorgerechnet: Wäre die erste Schicht linear, bliebe das ganze Netz eine lineare Funktion seiner Eingabe⁠1. Zwei hintereinander geschaltete Multiplikationen mit Gewichten lassen sich zu einer einzigen zusammenfassen, und das gilt für zehn oder hundert Schichten genauso. Ein solches Netz könnte nur gerade Trennlinien ziehen. Erst die nichtlineare Funktion zwischen den Schichten macht aus dem Stapel mehr als eine einzelne Schicht⁠1.

Sigmoid und tanh, die älteren Kurven

Vor der ReLU nutzten die meisten Netze die logistische Sigmoidfunktion, die jeden Wert in den Bereich zwischen 0 und 1 drückt, oder den Tangens hyperbolicus mit Werten zwischen minus 1 und 1⁠1. Beide Kurven werden an den Rändern flach. Nur in der Nähe von null reagieren sie deutlich auf ihre Eingabe, sonst sättigen sie, und der Gradient wird winzig. Das erschwert das Lernen mit Gradienten so sehr, dass das Lehrbuch von Sigmoid in verborgenen Schichten abrät⁠1. In der Ausgabeschicht hat die Sigmoidfunktion weiter ihren Platz, wenn das Netz eine Wahrscheinlichkeit für ein Ja oder Nein ausgeben soll. Für mehrere Klassen übernimmt dort meist Softmax, die eine Wahrscheinlichkeitsverteilung über alle Klassen liefert⁠1.

ReLU: ein Knick bei null

Die ReLU (rectified linear unit) gibt negative Werte als null aus und lässt positive unverändert durch⁠1. Bei null ist sie streng genommen nicht ableitbar. Für das Training macht das in der Praxis kaum etwas aus, schreibt das Lehrbuch⁠1. Wie viel die einfache Formel bringt, zeigten Alex Krizhevsky, Ilya Sutskever und Geoffrey Hinton 2012: Ein vierschichtiges Faltungsnetz mit ReLU erreichte auf dem Bilddatensatz CIFAR-10 eine Fehlerquote von 25 Prozent im Training sechsmal schneller als dasselbe Netz mit tanh⁠2.

Die Schwäche der ReLU sind tote Einheiten. Rutscht die gewichtete Summe eines Neurons dauerhaft unter null, gibt es nur noch null aus, und beim Rückwärtsrechnen per Backpropagation kommt kein Gradient mehr an⁠3. Google nennt eine kleinere Lernrate und Varianten wie LeakyReLU, die negativen Werten eine kleine Steigung lassen, als Gegenmittel⁠3.

Was Sprachmodelle verwenden

Für große Sprachmodelle gibt es weichere Verwandte der ReLU. Dan Hendrycks und Kevin Gimpel stellten 2016 die GELU vor, die jede Eingabe mit dem Wert der Verteilungsfunktion der Normalverteilung an dieser Stelle gewichtet, statt sie hart nach dem Vorzeichen abzuschneiden⁠4. Meta baute seine LLaMA-Modelle von 2023 auf der Architektur des Transformers auf und ersetzte darin die ReLU durch SwiGLU, eine Funktion, die Noam Shazeer 2020 eingeführt hatte. Als Grund nennt der Aufsatz bessere Leistung⁠5.

Häufige Fragen

Welche Aktivierungsfunktion gehört in die Ausgabeschicht?

Das hängt von der Aufgabe ab. Für eine Ja-Nein-Wahrscheinlichkeit eignet sich die Sigmoidfunktion, für die Auswahl zwischen mehreren Klassen Softmax⁠1.

Wie finde ich die passende Funktion für die inneren Schichten?

Vorhersagen lässt sich das selten. Das Lehrbuch beschreibt die Wahl als Ausprobieren: ein Netz mit der Funktion trainieren und auf einem Validierungsdatensatz vergleichen; die ReLU ist dabei meist ein brauchbarer Ausgangspunkt⁠1.

Quellen

Stand:

  1. Goodfellow, Bengio, Courville: Deep Learning, Kapitel 6: Deep Feedforward Networks, Stand 2016, abgerufen am 22.11.2026. zurück
  2. NeurIPS Proceedings (Krizhevsky, Sutskever, Hinton): ImageNet Classification with Deep Convolutional Neural Networks, Stand 2012, abgerufen am 22.11.2026. zurück
  3. Google for Developers: Machine Learning Crash Course: Neural networks, Backpropagation, abgerufen am 22.11.2026. zurück
  4. arXiv (Hendrycks, Gimpel): Gaussian Error Linear Units (GELUs), Stand 06.06.2023, abgerufen am 22.11.2026. zurück
  5. arXiv (Touvron u. a., Meta): LLaMA: Open and Efficient Foundation Language Models, Stand 27.02.2023, abgerufen am 22.11.2026. zurück

Weiterlesen

Bilder: KI-generiert

Aus dem Lexikon

Bilder: KI-generiert. Grafiken: KI-Blog