Des chercheurs de l’Université de Californie à Berkeley lancent FrontierCS 2 pour tester si des agents d’intelligence artificielle peuvent surpasser des travaux publiés

Share

FrontierCS 2 est un banc d’essai composé de 48 tâches ouvertes réparties dans 13 domaines, notamment l’apprentissage automatique, les bases de données et la robotique. Les agents doivent reconstruire et améliorer des dépôts de code issus de travaux académiques en cinq heures, sans consulter les articles ni accéder à internet, et sont évalués à l’aide de charges de travail masquées. Claude Opus 5.5 a obtenu le meilleur score, en réussissant 58 % des tâches, tandis que Claude Sonnet 5.5 a atteint 50 %. Seize tâches n’ont été résolues par aucun des 12 couples d’agents et de modèles testés. Plus de 100 tâches privées sont prévues afin d’éviter la mémorisation des résultats et de maintenir la difficulté du banc d’essai.

Source: Lire l’article original

Avertissement : ce contenu est fourni à titre d’information uniquement et ne constitue pas un conseil en investissement. Les cryptomonnaies sont très volatiles : vous pouvez perdre tout votre capital. Faites toujours vos propres recherches. Mentions légales
Telemac
Telemachttp://cryptoinfo.ch
Passionné de nouvelles technologies, j’explore l’univers de la blockchain et des cryptomonnaies pour partager l’actualité et les innovations du secteur.

Lire la Suite

Articles