L’étude Science Prediction Universe, menée par UniPat AI et depositée sur arXiv le 11 novembre, a testé 13 configurations d’agents couvrant 12 modèles sur 100 tâches publiques et 16 privées. Sur les tâches publiques, le corrélation de rang de Spearman moyenne entre configurations s’élevait à 0,52, contre 0,33 avec les résultats mesurés en laboratoire, et l’accord entre agents dépassait la corrélation avec les mesures sur 81 tâches sur 100. Le regroupement des classements a amélioré les scores de 0,08 point en moyenne, avec un intervalle de confiance à 95 % de 0,05 à 0,11, et les résultats progressant sur 73 tâches publiques. Les auteurs soulignent que la moyenne peut conserver des erreurs communes, notamment sur une tâche d’oncologie où onze configurations concordaient à 0,9 alors que leur score moyen face aux mesures n’était que de 0,27. L’étude reste limitée par une couverture inégale (les configurations Claude Opus 5.5 et Claude Fable 5.1 n’étaient notées que sur 44 et 30 tâches, notamment en raison de refus de sécurité), un échantillon privé restreint de 16 tâches et l’absence de référence humaine.
Source: Lire l’article original


