Nvidia a publié le 20 août un article introduisant le framework ACES (Agentic Continuous Evaluation of Skills), qui révèle que la corrélation entre les métriques d’évaluation traditionnelles et les scores LLM-judge n’est que de 0,14 (rho de Spearman), soit une puissance prédictive quasi nulle sur les performances réelles. ACES mesure le « Skill Lift » en comparant les performances d’un agent avec et sans compétence activée. Testé sur 947 cas appariés couvrant 58 compétences sur 64 en production, le framework affiche un Skill Lift moyen de 0,2134 avec 72,8 % des cas montrant une amélioration positive. Nvidia a rendu open-source l’outil SkillEvaluator, intégrant le composant d’évaluation live Tier 3 dans son pipeline Verified Agent Skills pour le contrôle qualité des compétences en environnement enterprise.
Source: Lire l’article original
