Des chercheurs de Google Cloud AI Research, Google DeepMind et de l’universite Carnegie Mellon ont presente Harmony Harness, un framework pour automatiser l’evolution de l’echafaudage entourant les grands modeles de langage utilises par les agents d’IA. Le framework traite l’amelioration des agents comme un probleme d’optimisation multi-objectif, separant explicitement securite et fonctionnalites rather than de les combiner en un seul score. Sur deux benchmarks, SecRepoBench et BaxBench, Harmony Harness a obtenu des scores depassant de plus de 10 points de pourcentage les baselines mono-objectif precedentes. Les gains en securite se sont reveles plus robustes sur des taches non vues lors de l’entrainement, contrairement aux approches traditionnelles qui montrent du surapprentissage et des regressions.
Source: Lire l’article original
