Les LLM (Large Language Models) modernes implémentent déjà des routeurs (ou "gating networks") permettant de sélectionner dynamiquement des sous-modèles spécialisés ("experts") à partir d’un modèle généraliste — une architecture connue sous le nom de Mixture of Experts (MoE).
C’est notamment le cas avec Mixtral (de Mistral AI), un LLM "sparse MoE" dans lequel chaque couche est constituée de 8 « experts » (des blocs FFN), mais seulement 2 experts sont activés par token pendant l’inférence. (ictjournal.ch)
Grâce à ce mécanisme, bien que le modèle total ait environ 46,7 G paramètres, seuls ~13 G sont utilisés par token actif, ce qui permet de combiner expressivité et efficacité. (uplatz.com)
Des études ont montré que les experts de Mixtral peuvent être sélectionnés de manière "plutôt équilibrée" selon les tokens et qu’il existe des séquences de plusieurs tokens routées vers le même expert, ce qui suggère une certaine spécialisation fonctionnelle. (aclanthology.org)
L’architecture MoE repose donc sur deux composants fondamentaux :
1. Les experts, des sous-réseaux spécialisés apprenant chacun différentes "facettes" du problème. (birow.com)
2. Le routeur, qui, pour chaque token, décide quels experts activer — souvent selon un schéma "top‐k" (par exemple "top‐2" pour Mixtral) pour sélectionner les meilleurs experts. (ibm.com)
De plus, cette approche n’est pas seulement théorique : des recherches récentes explorent des variantes comme Self‐MoE, qui transforme un LLM monolithique en un système modulaire d’experts auto-spécialisés (MiXSE), en utilisant des données synthétiques générées par le modèle lui-même, avec un routage optimisé. (arxiv.org)
D’autres travaux examinent les défis du routage, comme la cohérence locale du routage, ce qui a des implications pour l’efficacité mémoire et le déploiement. (arxiv.org)
# routeur
Posté par sputnick (site web personnel, Mastodon) . En réponse au lien Que sont les « TRM » ? Après les LLM, comprendre la future révolution de l’IA . Évalué à 2.
Les LLM (Large Language Models) modernes implémentent déjà des routeurs (ou "gating networks") permettant de sélectionner dynamiquement des sous-modèles spécialisés ("experts") à partir d’un modèle généraliste — une architecture connue sous le nom de Mixture of Experts (MoE).
C’est notamment le cas avec Mixtral (de Mistral AI), un LLM "sparse MoE" dans lequel chaque couche est constituée de 8 « experts » (des blocs FFN), mais seulement 2 experts sont activés par token pendant l’inférence. (ictjournal.ch)
Grâce à ce mécanisme, bien que le modèle total ait environ 46,7 G paramètres, seuls ~13 G sont utilisés par token actif, ce qui permet de combiner expressivité et efficacité. (uplatz.com)
Des études ont montré que les experts de Mixtral peuvent être sélectionnés de manière "plutôt équilibrée" selon les tokens et qu’il existe des séquences de plusieurs tokens routées vers le même expert, ce qui suggère une certaine spécialisation fonctionnelle. (aclanthology.org)
L’architecture MoE repose donc sur deux composants fondamentaux :
1. Les experts, des sous-réseaux spécialisés apprenant chacun différentes "facettes" du problème. (birow.com)
2. Le routeur, qui, pour chaque token, décide quels experts activer — souvent selon un schéma "top‐k" (par exemple "top‐2" pour Mixtral) pour sélectionner les meilleurs experts. (ibm.com)
De plus, cette approche n’est pas seulement théorique : des recherches récentes explorent des variantes comme Self‐MoE, qui transforme un LLM monolithique en un système modulaire d’experts auto-spécialisés (MiXSE), en utilisant des données synthétiques générées par le modèle lui-même, avec un routage optimisé. (arxiv.org)
D’autres travaux examinent les défis du routage, comme la cohérence locale du routage, ce qui a des implications pour l’efficacité mémoire et le déploiement. (arxiv.org)
On ne peut pas mettre d'array dans le string...