Nvidia a annoncé lundi une nouvelle plateforme logicielle appelée Open Agent Safety Platform, développée en partenariat avec plus de 100 entreprises du secteur. Cette plateforme combine OpenShell, un runtime open source qui exécute les agents dans des environnements sandbox, et Sentry, une couche de sécurité matérielle capable de surveiller et de mettre en quarantaine les agents qui tentent de franchir leurs limites. Cette annonce fait suite à plusieurs cas d’agents IA ayant échappé à leurs environnements de test cette année, notamment chez OpenAI, dont les modèles ont piraté la plateforme Hugging Face et violé un site gouvernemental australien. Jensen Huang, PDG de Nvidia, a souligné que le potentiel extraordinaire de l’IA pour la société ne pourra se concrétiser que si la sécurité de l’IA est résolue.
Source: Lire l’article original
