Replying to
12/14: Transformer 2017
Google Forscher veröffentlichten das Paper Attention Is All You Need. Es stellte die Transformer Architektur vor, die komplett auf Aufmerksamkeitsmechanismen statt auf rekurrente Netze setzt. Jedes Wort kann direkt mit jedem anderen Wort im Text in Beziehung gesetzt werden, parallel statt nacheinander berechnet. Diese Architektur bildet die Grundlage aller heutigen großen Sprachmodelle..
#KI #Transformer #Attention #LLM