Dans un nouveau test, les modèles d’IA étaient d’accord entre eux plus qu’avec la réalité

Share

L’étude Science Prediction Universe, menée par UniPat AI et depositée sur arXiv le 11 novembre, a testé 13 configurations d’agents couvrant 12 modèles sur 100 tâches publiques et 16 privées. Sur les tâches publiques, le corrélation de rang de Spearman moyenne entre configurations s’élevait à 0,52, contre 0,33 avec les résultats mesurés en laboratoire, et l’accord entre agents dépassait la corrélation avec les mesures sur 81 tâches sur 100. Le regroupement des classements a amélioré les scores de 0,08 point en moyenne, avec un intervalle de confiance à 95 % de 0,05 à 0,11, et les résultats progressant sur 73 tâches publiques. Les auteurs soulignent que la moyenne peut conserver des erreurs communes, notamment sur une tâche d’oncologie où onze configurations concordaient à 0,9 alors que leur score moyen face aux mesures n’était que de 0,27. L’étude reste limitée par une couverture inégale (les configurations Claude Opus 5.5 et Claude Fable 5.1 n’étaient notées que sur 44 et 30 tâches, notamment en raison de refus de sécurité), un échantillon privé restreint de 16 tâches et l’absence de référence humaine.

Source: Lire l’article original

Avertissement : ce contenu est fourni à titre d’information uniquement et ne constitue pas un conseil en investissement. Les cryptomonnaies sont très volatiles : vous pouvez perdre tout votre capital. Faites toujours vos propres recherches. Mentions légales
Telemac
Telemachttp://cryptoinfo.ch
Passionné de nouvelles technologies, j’explore l’univers de la blockchain et des cryptomonnaies pour partager l’actualité et les innovations du secteur.

Lire la Suite

Articles