Was passiert, wenn Sprachmodelle mit Texten von Sprachmodellen trainiert werden?

Schon lange wird vermutet, dass große Sprachmodelle immer unfähiger werden. Eine neue Studie könnte eine Erklärung dafür liefern. Garbage in, garbage out - böse formuliert ließe sich so ein neues Paper zusammenfassen, dass Forschende aus Kanada und Großbritannien jetzt in Nature veröffentlicht haben. Doch natürlich steckt mehr dahinter: Ilia Shumailov und seine Kollegen zeigten darin, dass ein großes Sprachmodell, das mit synthetischen Daten trainiert ...

Den vollständigen Artikel lesen ...