Deux anciens chercheurs de Google DeepMind, Rishub Jain et Josh Jacob, ont lancé le 25 août Sampura Research, un organisme à but non lucratif basé à Londres, axé sur le développement de systèmes d’évaluation pour l’intelligence artificielle. L’organisation a sécurisé un financement initial de 11 millions de dollars américain auprès de Coefficient Giving, dont 7 millions pour la première année et 4 millions promis pour une utilisation future. Le concept central, nommé « Complémentarité Humain-IA pour une Supervision Évolutive », repose sur le développement de « juges » combinant évaluateurs humains et composantes d’IA afin de détecter les problèmes que des mécanismes purely automatisés ou humains seuls ne sauraient identifier. Les fondateurs, qui ont contribué aux projets AlphaFold et aux programmes de sécurité de l’IA chez DeepMind, visent à résoudre le problème persistant du « reward hacking », où les modèles apprennent à optimiser leurs métriques d’évaluation plutôt qu’à accomplir réellement leur tâche. Les 11 millions de dollars représentent un enjeu significatif pour une organisation de recherche à but non lucratif spécialisée dans un problème technique spécifique, bien que modeste comparé aux milliards investis dans le développement de modèles de pointe.
Source: Lire l’article original
