Scaling laws
TechniquesRelation mathématique entre la taille d'un modèle ou la quantité de données et la qualité obtenue : les paramètres, les tokens et le compute croissent de façon prédictive par rapport à la perte. Dans le contexte de données synthétiques, les scaling laws mesurent combien de tâches il faut pour atteindre un certain taux de réussite.

