Anthropic a entraîné Claude à examiner rétrospectivement chaque conversation afin de déterminer si elle présente des signes d’utilisation abusive. Cette évaluation interne intervient après la réponse du modèle, sans interrompre l’utilisateur : les conversations signalées sont transmises à desecidos pour un examen hors ligne. Le système a détecté 78 % des conversations potentiellement nocives, 94 % des cas à priorité élevée, avec un taux de faux positifs d’environ 1 %. Chaque évaluation ajoute environ 10 jetons et moins de 2 % aux coûts d’inférence, complète les filtres en temps réel et s’inscrit dans la stratégie de défense en profondeur d’Anthropic. Des partenaires externes, notamment METR et SecureBio, évaluent également les mesures de sécurité des modèles.
Source: Lire l’article original


