LMU-Studie in Nature: Sprachmodelle lernen, jeden Buchstaben zu sehen

Wer schon einmal versucht hat, einen Chatbot ein Wort rückwärts buchstabieren zu lassen, kennt das Problem: Es klappt erstaunlich oft nicht. Eine Studie mit Beteiligung der LMU München, die in Nature erschienen ist, geht genau an diese Schwachstelle.

Das Problem mit den Wortstücken

Große Sprachmodelle lesen Text nicht Buchstabe für Buchstabe. Sie zerlegen ihn vorher in Einheiten wie Wörter oder Wortfragmente. Laut der Pressemitteilung wird etwa „LMU München“ beim Modell hinter ChatGPT in „LM“, „U“ und „München“ zerlegt. Die einzelnen Buchstaben von „München“ sieht das Modell also nie direkt. Diese Subwort-Tokenisierung macht die Modelle effizient, schwächt aber alles, was auf Zeichenebene passiert.

Modelle, die Text Byte für Byte lesen, umgehen das. Bisher waren sie aber keine echte Alternative.

Umrüsten statt neu trainieren

Das Team aus LMU, Allen Institute for AI, University of Cambridge, University of Washington und Imperial College London hat eine Methode entwickelt, die vorhandene Modelle auf Byte-Ebene umbaut. Diese „Byteifizierung“ braucht weniger als ein Prozent des sonst üblichen Trainingsaufwands und erhält die Leistung des Ausgangsmodells weitgehend. Die Ergebnisse sollen alle bisher veröffentlichten Byte-Modelle vergleichbarer Größe übertreffen.

Studienleiter Valentin Hofmann, Juniorprofessor an der LMU, betont, dass das mehr als eine Spielerei ist: Eine gute Darstellung der Feinstruktur von Text sei etwa bei Code oder biologischen Sequenzen entscheidend.

Mein Eindruck

Mir gefällt besonders, dass Modelle, Code und Trainingsdaten öffentlich sind. Wenn der Umbau wirklich so günstig ist, könnten das viele Gruppen nachprüfen und weiterentwickeln, nicht nur die großen Labore.

Zur Pressemitteilung beim idw und zur Studie in Nature.