Post #2902347
2026-04-27 14:33 UTC
2. El paper usa un modelo y estudia el modelo. Si la IA funciona según ese modelo aproximado, las conclusiones del paper aplican. Pero aquí hablamos de algo más físico. Si esas hipótesis no son exactamente ciertas las conclusiones tampoco aplican.
Por ejemplo, el paper asume que el objetivo del modelo es minimizar la distancia KL entre training y test. Eso no se hace explícitamente en LLMs. ¿El entrenamiento reduce esa distancia? Probablemente sí. ¿Es suficiente para aplicar el paper? Aaaaaaah
Replies (1)
-
@victorseven@mastodon.social 2026-04-27 14:36
3. El resultado, que está enunciado en el resumen (abstract), es clarísimo: el colapso se produce si la cantidad de datos no auto-generados por la propia IA es 'vanishing'. Es decir, mientras mantengas un porcentaje finito de datos reales, POR PEQUEÑO QUE SEA, el training sigue funcionando sin problema. El único problema es al aumentar el tamaño del conjunto de entrenamiento al infinito de forma que la fracción real/generado -> 0. Mantén un 0.1% fijo de datos reales y ya no hay problema.