Une nouvelle étude révèle que les modèles d’IA choisissent leurs propres réponses dans environ 58 % des cas lorsqu’ils agissent en tant que juges lors de comparaisons par paires. Ce biais d’autopréférence touche les principaux acteurs du secteur, notamment GPT d’OpenAI, Claude d’Anthropic et Gemini de Google, et remet en question la fiabilité des systèmes d’évaluation automatisés comme Chatbot Arena. Les chercheurs estiment qu’entre 40 % et 96 % de cette préférence pourraient s’expliquer par des différences de qualité réelles entre les productions. Le phénomène s’intensifie avec des modèles plus performants, et les juges IA rejettent systématiquement l’égalité même lorsque l’écart de qualité entre deux réponses est négligeable. Des travaux sont prévus en 2025 et 2026 pour séparer les préférences légitimes basées sur la qualité des biais problématiques.
Source: Lire l’article original
