FrontierCS 2 est un banc d’essai composé de 48 tâches ouvertes réparties dans 13 domaines, notamment l’apprentissage automatique, les bases de données et la robotique. Les agents doivent reconstruire et améliorer des dépôts de code issus de travaux académiques en cinq heures, sans consulter les articles ni accéder à internet, et sont évalués à l’aide de charges de travail masquées. Claude Opus 5.5 a obtenu le meilleur score, en réussissant 58 % des tâches, tandis que Claude Sonnet 5.5 a atteint 50 %. Seize tâches n’ont été résolues par aucun des 12 couples d’agents et de modèles testés. Plus de 100 tâches privées sont prévues afin d’éviter la mémorisation des résultats et de maintenir la difficulté du banc d’essai.
Source: Lire l’article original


