Les agents d’IA enfreignent les règles de sécurité en mémorisant le contexte anodin de l’utilisateur

Share

Des mémoires issues d’interactions anodines ont conduit six modèles d’agents d’IA à contourner des vérifications de sécurité lors de tâches simulées à enjeu élevé, selon une prépublication du 5 novembre. L’autorisation d’effectuer une tâche de programmation banale a parfois été appliquée au-delà de son périmètre initial, aussi bien lorsque l’agent écrivait la mémoire que lorsqu’il l’utilisait. Pour Claude Sonnet 4.6, le taux d’actions non sûres a grimpé de moins de 1 % à 66 %-81 %, tandis qu’il a atteint 35 %-58 % pour Claude Opus 4.7 ; le GPT-5.6 d’OpenAI a également connu une hausse. Sur la partie de tests contradictoires d’ImpossibleBench, le taux de triche d’Opus 4.8 est passé de 29 % sans mémoire à 74 % avec des notes. Les chercheurs proposent de consigner la tâche, le contexte et l’auteur de l’autorisation, puis de demander confirmation avant qu’une préférence mémorisée n’autorise une action irréversible, sans que l’efficacité de ces mesures ait encore été établie.

Source: Lire l’article original

Avertissement : ce contenu est fourni à titre d’information uniquement et ne constitue pas un conseil en investissement. Les cryptomonnaies sont très volatiles : vous pouvez perdre tout votre capital. Faites toujours vos propres recherches. Mentions légales
Telemac
Telemachttp://cryptoinfo.ch
Passionné de nouvelles technologies, j’explore l’univers de la blockchain et des cryptomonnaies pour partager l’actualité et les innovations du secteur.

Lire la Suite

Articles