Aleph Alpha, entreprise basée à Heidelberg, a lancé Kolibri, un modèle d’intelligence artificielle de 78,1 milliards de paramètres avec des poids open source. Ce modèle de type Mixture-of-Experts dispose d’une fenêtre contextuelle pouvant atteindre un million de jetons et est optimisé pour l’anglais et l’allemand. Entraîné sur 20 à 24 billions de jetons avec une emphase particulière sur le contenu allemand, il a été mis au point sur une infrastructure de 768 GPU NVIDIA B200 situés en Allemagne et en Finlande. Le modèle est disponible sous licence Apache 2.0 sur Hugging Face et nécessite environ 78 Go de stockage au format FP8. Aleph Alpha cible les secteurs réglementés comme l’administration publique, l’industrie, l’aérospatiale et la défense.
Source: Lire l’article original
