Epoch AI a évalué six modèles de langage sur des tâches ouvertes inspirées du travail réel de ses employés, notamment le design graphique et la conception de recherches. Aucun modèle n’a atteint le niveau de qualité humaine fixé par l’organisation, les meilleurs obtenant environ 65 %. Claude Fable 5.1 et GPT-6 Astra se sont partagé la première place, tandis que Gemini 3.8 Flash a terminé dernier avec 42 %. Les modèles ont été plus performants sur le codage et l’analyse de données, mais ont peiné sur les tâches exigeant du jugement ou une adaptation à un public particulier.
Source: Lire l’article original


