Salesforce AI Research indique qu’une méthode consistant à entraîner séparément des modèles spécialistes, puis à distiller leurs connaissances dans un modèle unique, permet de réduire de 42 % le coût total de calcul par rapport à un entraînement conjoint par renforcement. Dans une configuration combinant mathématiques et programmation, le modèle obtenu a atteint des performances comparables à celles de la méthode GRPO, pour un coût total inférieur de 42 %. La distillation elle-même n’a représenté que 5,2 % des FLOP d’entraînement des spécialistes dans cette configuration à deux domaines, contre 8,0 % à quatre domaines. Lorsque la distillation s’appuyait sur des enseignants externes déjà entraînés, elle a toutefois été moins efficace que GRPO, tandis que des enseignants issus des propres points de contrôle du modèle ont permis de réduire jusqu’à 50 % les FLOP de distillation.
Source: Lire l’article original
