Un modèle bon en appel d'outils et paf ça fait des chocapic.
Je suis tout de même étonné, car un modèle dense de 27B c'est aujourd'hui très "petit" (par rapport au modèles commerciaux j'entends) et un modèle en MoE avec 10B actifs c'est aussi assez petit.
Je n'ai pas assez expérimenté avec ces tailles de modèles, mais il me semble que c'est bien limité. Il y a aussi la fenêtre de contexte qui joue beaucoup.
Comment ces modèles se comportent sur des tâches complexes ? Est-ce qu'il arrive a garder le cap sur des prompts longs avec plein de contraintes ?
Le peu que j'ai essayé des modèles de ce genre, ils n'étaient pas très doués. Si ton prompt système contient plein de contraintes, il va finir par en zapper quelques unes etc.
[^] # Re: Quelques questions
Posté par Andréas Livet . En réponse au journal Vos agents IA dépendent d’entreprises américaines, et ça devrait vous poser problème. Évalué à 3.
Je suis tout de même étonné, car un modèle dense de 27B c'est aujourd'hui très "petit" (par rapport au modèles commerciaux j'entends) et un modèle en MoE avec 10B actifs c'est aussi assez petit.
Je n'ai pas assez expérimenté avec ces tailles de modèles, mais il me semble que c'est bien limité. Il y a aussi la fenêtre de contexte qui joue beaucoup.
Comment ces modèles se comportent sur des tâches complexes ? Est-ce qu'il arrive a garder le cap sur des prompts longs avec plein de contraintes ?
Le peu que j'ai essayé des modèles de ce genre, ils n'étaient pas très doués. Si ton prompt système contient plein de contraintes, il va finir par en zapper quelques unes etc.