Stanford University et Google DeepMind ont mis au point TURTLE, un système qui transforme les tâches existantes d’utilisation d’outils en versions plus difficiles tout en vérifiant qu’elles restent réalisables. Le système combine un agent de proposition fondé sur AlphaEvolve, un modèle solveur et un générateur de commentaires qui orientent les modifications successives. Une tâche est considérée comme réalisable lorsque le solveur la réussit dans au moins 50 % des cas sur un minimum de dix tentatives. Les essais sur AppWorld, τ-Bench et AutomationBench ont notamment porté la proportion de tâches difficiles de 19,8 % à 165 % dans l’ensemble évolué d’AppWorld, dont 735 tâches ont été évaluées avec Gemma 4 31B-it.
Source: Lire l’article original
