ses experts de 10b doivent être plus autonomes que les 3b dont j'ai l'habitude. Donc en solliciter plus que 4 à la fois n'arrive peut-être pas si souvent.
J'avais pas compris le fonctionnement des MoE comme ça. Pour moi, quand on LLM MoE indique 10B pour les experts c'est que, dans tous les cas, il n'y a que 10B de paramètres qui s'active, peu importe la complexité de la tâche.
Et 10B c'est pas forcément la taille de l'expert, parfois les experts sont bien plus petits et plusieurs s'active en même temps, juste y en a toujours autant qui s'activent en même temps, mais je me trompe peut-être.
Sur les benchmark, y a un gars qui fait du bon boulot je trouve : https://github.com/kyuz0
Il crée des sites spécifiques pour chaque carte ou config qu'il teste avec des résultats qu'il s'efforce d'être le plus normé possible.
Exemple sur les strix halo : https://strix-halo-toolboxes.com
[^] # Re: T'as testé une conf hybride CPU/GPU
Posté par Andréas Livet . En réponse au journal Auto-héberger ses IA : Matériel et optimisation de l'inférence. Évalué à 3 (+1/-0).
J'avais pas compris le fonctionnement des MoE comme ça. Pour moi, quand on LLM MoE indique 10B pour les experts c'est que, dans tous les cas, il n'y a que 10B de paramètres qui s'active, peu importe la complexité de la tâche.
Et 10B c'est pas forcément la taille de l'expert, parfois les experts sont bien plus petits et plusieurs s'active en même temps, juste y en a toujours autant qui s'activent en même temps, mais je me trompe peut-être.
Sur les benchmark, y a un gars qui fait du bon boulot je trouve : https://github.com/kyuz0
Il crée des sites spécifiques pour chaque carte ou config qu'il teste avec des résultats qu'il s'efforce d'être le plus normé possible.
Exemple sur les strix halo : https://strix-halo-toolboxes.com