Le modèle Claude Fable 5.2 d’Anthropic a correctement identifié l’auteur de 56 % des 398 rapports et méta-rapports de revue par les pairs testés, dans une prépublication du 19 novembre menée par Atrey Desai et ses collègues. L’étude a porté sur des rapports rédigés entre 2015 et 2026 pour 26 conférences et ateliers en double aveugle, six volontaires ayant fourni des textes non signés et le modèle recevant un rapport à la fois, sans accès web ni liste d’auteurs possibles. Le taux de réussite atteint 68,4 % sur les 266 rapports standard et 31,1 % sur les 132 méta-rapports, plus courts et rédigés par deux seulement des six contributeurs, la moyenne par contributeur étant de 49,1 %. Sur un ensemble distinct de 1 559 revues publiques issues de 47 revues en libre accès, Claude n’a identifié le rédacteur que dans 21,4 % des 1 530 cas traités, avec un taux de 39,3 % sur le sous-ensemble de 789 revues classées comme humaines ou mixtes par le détecteur Pangram 4.1. Les performances étaient nettement meilleures lorsque les auteurs citaient leurs propres travaux (80,2 % contre 17,1 %), ce qui suggère que les indices stylistiques ou thématiques restent informatifs malgré l’anonymat. Les chercheurs soulignent qu’un éditeur ou un auteur devrait disposer de preuves indépendantes pour établir l’identité d’un rapporteur, et prévoient d’élargir l’échantillon dans une mise à jour de la prépublication.
Source: Lire l’article original


