Anthropic a publié 10 recommandations pour concevoir, conduire et présenter des évaluations de sécurité plus fiables des modèles d’IA. L’entreprise, inspirée des réformes méthodologiques adoptées après la crise de reproductibilité en psychologie, preconise notamment le préenregistrement des méthodes d’analyse et la validation des classements automatiques par des experts humains. Elle recommande de mesurer le comportement des modèles au moyen de simulations conversationnelles à plusieurs tours, plutôt que de se fonder uniquement sur les taux de refus à une seule demande. Anthropic souligne également l’importance d’équipes pluridisciplinaires, du suivi en temps réel des tests et d’une communication transparente sur l’incertitude et les limites des résultats.
Source: Lire l’article original
