Jakub Pachocki, directeur scientifique d’OpenAI, propose d’utiliser la perplexité logarithmique comme mesure commune des progrès des modèles et comme seuil de déclenchement des surveillance de sécurité. OpenAI a publié ses scores internes de préentraînement : environ 0,99 pour GPT-3.5, 0,91 pour GPT-4, moins de 0,8 pour les modèles récents et 0,76 pour un modèle mathématique qui m’aime. Pachocki situe entre 0,68 et 0,70 la plage où les capacités transformatrices pourraient apparaître et recommande de ne pas la franchir avant la mise en place de cadres de surveillance adéquats. Cette proposition s’inscrit dans le cadre du ralentissement volontaire du développement de l’IA défendu par Anthropic, mais son caractère limitant dépendra de l’adoption d’une base de données commune, de la transparence des autres laboratoires et d’une définition précise des mesures de surveillance.
Source: Lire l’article original


