Des chercheurs ont développé une technique appelée GRAFT, acronyme de Gradient Routing Adapter Fine Tuning, qui utilise un adaptateur supprimable pour éviter que les modèles d’IA n’apprennent le piratage des récompenses. Cette méthode sépare le moniteur, qui détecte les comportements indésirables, de la fonction de récompense qui façonne l’apprentissage du modèle. Lorsque le moniteur signale un comportement problématique, l’apprentissage associé est redirigé vers un adaptateur distinct qui peut être supprimé après l’entraînement. Les tests effectués sur des modèles allant de 135 millions à 8 milliards de paramètres, puis mis à l’échelle sur le modèle Qwen3-32B d’Alibaba, ont montré des taux de piratage tombés à environ 1,2 % dans certaines conditions. L’article est signé par Jake Ward, Shawn Hu, Aria Wong, Nathan Hu, Bryce Woodworth, Alexander Turner et Alex Cloud, et sera présenté lors de la conférence NeurIPS 2026.
Source: Lire l’article original
