DeepSeek V4 Flash peine sur les tâches réelles malgré sa trône des classements IA

Share

DeepSeek V4 Flash, lancé le 31 juillet, trône en tête de plusieurs classements d’intelligence artificielle tout en étant proposé à un prix dix fois inférieur à celui des modèles comparables, soit 0,14 dollar par million de tokens d’entrée. Lors de tests indépendants menés par Composio sur 30 workflows multi-étapes complexes utilisant des outils réels comme Gmail, GitHub, Slack et Google Sheets, le modèle n’a réussi que 53,8 % des tâches, soit 129 réussites sur 240 exécutions. Parmi les huit architectures de test évaluées, Pi Agent s’est révélé le plus performant avec 20 tâches sur 30 réussies, illustrant l’impact majeur du harnais d’agent sur les résultats. Le label bêta actuel et l’ajustement tarifaire prévu au 16 août 2026 indiquent que le modèle n’est pas encore prêt pour un déploiement critique.

Source: Lire l’article original

Telemac
Telemachttp://cryptoinfo.ch
Passionné de nouvelles technologies, j’explore l’univers de la blockchain et des cryptomonnaies pour partager l’actualité et les innovations du secteur.

Lire la Suite

Articles