10 LLMs

Wie auch einfache N-Gramm Modelle werden bei Large Language Models Wahrscheinlichkeiten an Wortsequenzen zugewiesen. Unterschied ist das Training. Bei LLMs wird mit Maskierung gearbeitet um ein Folgewort einer Sequenz vorherzusagen. Bei N-Grammen wird nur mit den Häufigkeitswerten gearbeitet.
Obwohl nur trainiert wird einzelne Worte vorherzusagen, wird nützliches Sprachwissen erworben.

Architekturen

Encoder only

Diese Architektur ist besonders gut geeignet für Aufgaben bei denen keine großen Sequenzen generiert werden müssen. Für Klassifikationsaufgaben ist die Fähigkeit nützlich, große Texte umfassend zu analysieren und zu verstehen.

Encoder-Decoder

Besteht aus einem Encoder und einem Decoder. Eignet sich für Aufgaben bei denen Inputsequenzen in Ausgabesequenzen umgewandelt werden müssen. Beispielsweise in der maschinellen Übersetzung sind diese Modelle beliebt.
Auch Anwendungen wie die Erkennung gesprochener Sprache, also die Transformation von Akustik zu Wörtern ist ein beliebtes Einsatzgebiet.

Da sie sehr ressourcenintensiv sind, ist es für kleinere Ideen sinnvoller sparsamere Modell zu verwenden.

Decoder Only

Modelle wie GPT oder auch “Left-To-Right LLMs” oder “Autoregressive LLMs” generieren Text von ‘links’ nach ‘rechts’. Es wird stets die aktuelle Sequenz vervollständigt.

Auch solche Sequenzgenerierungsmodelle können für Klassifikationsaufgaben verwendet werden. Dazu wird die Wahrscheinlichkeit der verschiedenen Optionen verglichen.

Auch Zusammenfassungen sind mit diesem Modell möglich. Es wird gelernt nach einem speziellen Delimiter z.B.tldr den vorherigen Text zusammenzufassen.

Das Modell generiert in jedem Schritt eine Wahrscheinlichkeitsverteilung über alle Worte im Korpus.
Mittels Sampling wird aus den wahrscheinlichsten Worten eines ausgewählt und als Ausgabe verwendet.

Sampling

Beim Sampling wird zur Erstellung natürlicherer Texte ein Teil der Ausgabetokens zufällig gewählt. Es wird nicht das wahrscheinlichste Wort gewählt sondern eine seltenere Fortsetzung der Sequenz gewählt.
So kann die Ausgabe vielfältiger und lebendiger wirken, opfert aber eventuell Genauigkeit der Ergebnisse.

Es kommt häufig vor, dass auch sehr unwahrscheinliche Worte vorhergesagt werden. Grund ist, dass im sog. ‘Tail’ der Verteilung extrem viele, sehr unwahrscheinliche Worte liegen.
Um dem entgegenzuwirken kann die Berechnung in zwei Schritten, mittels einer engeren Auswahl erfolgen.

Top-k Sampling

Es wird die Liste der Top $k$ wahrscheinlichsten Worten in eine engere Auswahl genommen. Mit nach einer Normierung der Wahrscheinlichkeiten wird eine gültige Verteilung erreicht, die aber Unterschiede in den Wahrscheinlichkeiten beibehält.

Top-p Sampling

Statt einer festen Anzahl Wörter wie bei Top-k Sampling soll eine dynamische Zahl Wörter verwendet werden, sodass eine feste Menge der Gesamtwahrscheinlichkeit enthalten ist.

Für eine Verteilung $P(w_t\mid w_{<t})$ ist das Top-p-Vokabular $V(p)$ die kleinste Menge von Wörtern mit

$$\sum _{w\in V(p)}P(w\mid w_{<t})\ge p$$

Temperature Sampling

Statt die Verteilung abzuschneiden wird sie hier umgeformt. Beim Sampling mit ‘niedriger’ Temperatur $(\tau \le 1)$ wird die Wahrscheinlichkeit der wahrscheinlichsten Wörter erhöht, während die der seltenen Wörter verringert wird.

Statt $\text{softmax}(u)$ wird $\text{softmax}\left(\frac{u}{\tau }\right)$ berechnet.

Werte nahe $\tau =0$ resultieren in einer weniger explorativen, nahezu deterministischen Wortwahl. Große Werte $(\tau >1)$ bevorzugen die Wahl von selteneren Fortsetzungen und erhalten so eine vielfältige Sprache, opfern jedoch einen Teil der Kohärenz.

Pretraining

Zentrale Idee ist das Training in zwei Stufen. Im ersten Schritt werden auf breiter Datenbasis allgemeine Muster und Sprachverständnis erlernt. In einem zweiten Training wird das Modell speziell auf eine Aufgabe vorbereitet.

Das Pretraining ist selbstüberwacht, d. h., dass keine explizit gelabelten Daten eingesetzt werden. Das Modell verwendet stattdessen immer das nächste Token als Label und versucht, dieses vorherzusagen.

Als Loss-function wird “Cross Entropy Loss” verwendet.
Dabei ist $y_t$ die korrekte Wahrscheinlichkeitsverteilung und ${\hat{y}}_t$ die vorhergesagte Verteilung.
Der Gesamtfehler berechnet sich nach folgender Vorschrift:

$$L_{CE}=-\sum _{w\in V}{y}_t[w]\cdot \log ({\hat{y}}_t[w])$$

Da die korrekte Verteilung das nächste Wort kennt, ist die Wahrscheinlichkeit für alle Wörter außer dem korrekten $0$.
Somit vereinfacht sich die Berechnung in diesem Anwendungsfall:

$$L_{CE}=-\log ({\hat{y}}_t[w])$$

Es wird erlernt wie semantische Beziehungen in Sprachen funktionieren. Dabei wird auch der Wortschatz des Modells entwickelt.
Kontextuelle Nuancen wie die Ähnlichkeit von ‘kalt’ und ‘eisig’ können erlernt werden, wenn die Begriffe oft genug im selben Kontext gesehen werden.
Faktenwissen wie Autorenschaft oder kulturelle Referenzen werden erfasst.
Mathematische und logische Zusammenhänge werden grundlegend erlernt, wobei diese Beziehungen deutliche Schwierigkeiten bei komplexen Aufgaben haben können.

How-To-Mathe

Wenn Chatbots Berechnungen durchführen sollen, so generieren sie teilweise Pythonprogramme. Diese Programme können die Berechnung ausführen und liefern die Ergebnisse an das Sprachmodell.

Teacher Forcing

An jeder Position $t$ sind die korrekten Tokens $w_{1:t}$ bekannt. Es wird der loss ($-\log \text{Wahrscheinlichkeit})$ für das nächste Token $w_{t+1}$ berechnet. Nach jeder Vorhersage wird das generierte Token bewertet und verworfen. Nur das bekannte korrekte Token wird angehängt und fortgefahren.

Datenquellen

Große Textsammlungen wie Wikipedia und StackExchange, verschiedene Bücher und wissenschaftliche Publikationen sind in ‘The Pile’ zusammengefasst. Dieser Datensatz bildet in knapp 800GB ein breites Spektrum von Themen und Sprachstilen ab.

Dabei ist es wichtig Duplikate zu entfernen und anstößige Inhalte zu filtern. Herausforderung ist der Umgang mit Dialekten, verschiedene Ausdrücke könnten in einem Dialekt verfasst sein und fälschlicherweise als problematischer Inhalt erkannt werden.

Finetuning

Fine-tuning hat vier verschiedene Bedeutungen. Dabei wird in allen Fällen ein Teil der Parameter an neue Daten angepasst werden.

Fortgesetztes Pretraining

Alle Parameter des Modells werden mit neuen Daten weiter trainiert.
Unter Verwendung derselben Loss-function und Methodik wie im Pretraining wird so gehandelt, als ob der ursprüngliche Datensatz erweitert wurde.

Parametereffizientes Finetuning (PEFT)

Es werden aufgrund der großen Menge an Parametern nur ein Teil der Gewichte weiter Trainiert. Alle anderen werden ‘eingefroren’ und beibehalten.

Low Rank Adaptation LoRA

Sei $W$ eine Matrix der Form $[N\times d]$ die aktualisiert werden muss. Diese wird in zwei Matrizen $A[N\times r]$ und $B[r\times d]$ zerlegt. Da $r$ gewählt wurde um klein zu sein (z.B. 1 oder 2) ist die Berechnung der Optimierung deutlich schneller.
Der Effekt wird durch das spätere Zusammenführen auf mehrere Gewichte angewendet. So ist das Training weniger präzise, aber deutlich schneller.

Bewertung von LLMs

Perplexität

Misst wie ‘verwirrt’ das Modell ist, wenn es versucht, den nächsten Teil des Textes vorherzusagen. Bei niedrigen Werten ist das Modell in der Lage Vorhersagen zu machen, die sinnvoll sind und gut zueinander passen.
Hohe Werte zeigen, dass der Text für das Modell unverständlich ist.

Da die Perplexität sensibel gegenüber Länge von Eingaben und Tokens ist, funktioniert sie am besten wenn ähnliche Modelle verwendet werden.

Andere Faktoren

• Größe: Die verwendete Menge an Speicherplatz und GPU Verbrauch
• Energieverbrauch: Kann in kWh gemessen werden, oder in ausgestoßenem CO2
• Fairness: Prüft das Vorhandensein von Stereotypen

Skalierung

Die Leistung von großen Modellen hängt von ihrer Größe ab. Mit mehr Parametern und größeren Trainingsdatensätzen steigt die Qualität der Modelle.

LLM Overfitting

Die Grenze zum Overfitting ist noch nicht erreicht. Aufgrund der hohen Kosten wird typischerweise das Training bereits beendet, wenn eine Konvergenz annähernd erreicht ist.