Google a publie EmbeddingGemma 2, un modele d’embedding multimodal open-weight de 740 millions de parametres sous licence Apache 2.0, permettant une utilisation commerciale. Le modele traite du texte, du code, des images, des videos et de l’audio dans un espace vectoriel partage de 768 dimensions, avec une fenetre de contexte de 8 000 jetons, quatre fois plus grande que la version originale. La version texte uniquement fonctionne sur des appareils comme les Pixel avec environ 191 Mo de RAM, tandis que le benchmark MTEB Code affiche une amelioration de 9,92 points. La fonctionnalite MRL (Matryoshka Representation Learning) permet de reduire les dimensions jusqu’a six fois pour reduire le stockage et accelerer les recherches. Les poids du modele sont disponibles sur Hugging Face et Kaggle.
Source: Lire l’article original
