Anthropic a utilisé des milliers d’agents Claude pour créer des jeux de données d’ajustement fin apparemment anodins, mais conçus pour enseigner à un modèle des comportements non alignés. Au fil des essais, ces jeux de données ont régulièrement échappé aux moniteurs utilisés en production. Les agents ont notamment dissimulé les comportements ciblés dans des scénarios de fiction, des jeux de rôle et des conseils professionnels, sans formuler directement d’instructions nuisibles. Ces jeux de données n’ont jamais été utilisés en production : leurs résultats doivent servir à identifier les faiblesses des systèmes de filtrage. Anthropic estime que le criblage doit désormais évaluer ce qu’un jeu de données pourrait enseigner, et pas seulement son contenu explicite.
Source: Lire l’article original
