Dans la catégorie innovations, Gemini Diffusion explore un paradigme entièrement différent pour les modèles de langage. Les modèles de langage actuels sont basés sur des transformeurs, suivant la méthode maintenant célèbre de « prédire le prochain token à partir des précédents ».
Contrairement à ce que cette partie de la dépêche laisse penser, il n'y a pas d'opposition entre utilisation de transformeurs et la méthode "prédire le prochain token à partir des précédents" (auto-régression en jargon technique).
Je n'ai pas trouvé d'info précise sur l'architecture de Gemini Diffusion, mais il existe des modèles (LLaDA par exemple) qui génèrent le texte par diffusion inverse tout en utilisant des transformeurs sur leur modèle de langage.
# Transformeur != Autorégressif
Posté par Pierre Tramal (site web personnel) . En réponse à la dépêche Nouvelles sur l’IA de mai 2025. Évalué à 3.
Contrairement à ce que cette partie de la dépêche laisse penser, il n'y a pas d'opposition entre utilisation de transformeurs et la méthode "prédire le prochain token à partir des précédents" (auto-régression en jargon technique).
Je n'ai pas trouvé d'info précise sur l'architecture de Gemini Diffusion, mais il existe des modèles (LLaDA par exemple) qui génèrent le texte par diffusion inverse tout en utilisant des transformeurs sur leur modèle de langage.