Le banc d’essai d’ingénierie de Google révèle que les meilleurs agents IA atteignent tout juste 50,6 %

Share

Google Cloud AI Research a publié PLE, un banc d’essai couvrant 85 tâches d’ingénierie de longue durée réparties entre génie mécanique, électrique, civil et structurel. Chaque agent doit analyser un corpus de projet comprenant en moyenne 61 fichiers et produire un livrable facturable, comme un dossier de calcul ou une revue de conception. Claude Opus 5.5 de premier avec une score moyen de 50,6 %, devant GPT-6 Astra d’OpenAI à 48,3 %, tandis que les configurations Gemini de Google ont obtenu des scores dans les_LOW-to-mid 40s. Le meilleur agent n’a toutefois respecté toutes les contraintes techniques strictes que dans 41,3 % des tâches de conception. Cette performance a nécessité environ 27 millions de jetons et 63 minutes par tâche, pour un coût d’inférence estimé à 17 dollars, ce qui shows que l’efficacité et la fiabilité restent loin de permettre une utilisation autonome dans l’ingénierie réglementée.

Source: Lire l’article original

Avertissement : ce contenu est fourni à titre d’information uniquement et ne constitue pas un conseil en investissement. Les cryptomonnaies sont très volatiles : vous pouvez perdre tout votre capital. Faites toujours vos propres recherches. Mentions légales
Telemac
Telemachttp://cryptoinfo.ch
Passionné de nouvelles technologies, j’explore l’univers de la blockchain et des cryptomonnaies pour partager l’actualité et les innovations du secteur.

Lire la Suite

Articles