Kurz-Fakten
- Die Gewichte sind das, was ein Modell an Wissen enthält
- Ein Netz mit einer Milliarde Parametern hat eine Milliarde solcher Gewichte
- Eingabe, verdeckte Schichten, Ausgabe – das ist der Grundaufbau
- Die Nachahmung biologischer Nervenzellen ist stark vereinfacht
Bedeutung in der Praxis
Wer verstehen will, warum Sprachmodelle Dinge erfinden, muss hier ansetzen: In den Gewichten steht kein Wissen in Form von Sätzen, sondern eine Wahrscheinlichkeitsverteilung. Das Netz kann deshalb nicht zwischen einer gelernten Angabe und einer gut passenden Erfindung unterscheiden.