En même temps, tout dépend de si tu veux faire un benchmark scientifique ou un retour de cas d'usage. Être capable de fournir une réponse appropriée à une requête unique pas forcément bien formulée est un cas d'usage typique.
On peut se demander aussi quelles seraient les perfs avec un prompt plus spécifique, ou avec des instructions générales plus précises (les trucs que l'on configure dans son compte, du style "privilégie la lisibilité aux performances, utilise des dépendances récentes", etc). Il n'est pas impossible que les plus gros modèles soient plus flexibles sur le style, mais moins performants sur leur première réponse.
Au passage, ça me fait marrer les remarques du style "déja, un humain, il aurait répondu avec une liste de 52 trucs à préciser, un devis, un diagramme de Gantt, un mail avec le responsable hiérarchique en copie, un doodle pour planifier une visio la semaine du 12 mai, un lien vers un formulaire à remplir avec son nom et la date de naissance de sa grand-mère paternelle, les specs du matériel sur lequel ça va tourner, le nombre et la taille des fichiers à lire, et là on aurait pu commencer à discuter". J'ai peur que ça soit exactement pour cette raison que les gens préfèrent le code sans saveur des LLM au code des experts humains; c'est la même raison qui fait préférer une pizza industrielle à un repas à la Tour d'Argent: le rapport qualité prix dans la plupart des contextes est largement au bénéfice de la solution simple.
[^] # Re: Cas d'usage
Posté par arnaudus . En réponse au journal Comparatif : 6 LLMs locaux face à un exercice Python simple. Évalué à 5.
En même temps, tout dépend de si tu veux faire un benchmark scientifique ou un retour de cas d'usage. Être capable de fournir une réponse appropriée à une requête unique pas forcément bien formulée est un cas d'usage typique.
On peut se demander aussi quelles seraient les perfs avec un prompt plus spécifique, ou avec des instructions générales plus précises (les trucs que l'on configure dans son compte, du style "privilégie la lisibilité aux performances, utilise des dépendances récentes", etc). Il n'est pas impossible que les plus gros modèles soient plus flexibles sur le style, mais moins performants sur leur première réponse.
Au passage, ça me fait marrer les remarques du style "déja, un humain, il aurait répondu avec une liste de 52 trucs à préciser, un devis, un diagramme de Gantt, un mail avec le responsable hiérarchique en copie, un doodle pour planifier une visio la semaine du 12 mai, un lien vers un formulaire à remplir avec son nom et la date de naissance de sa grand-mère paternelle, les specs du matériel sur lequel ça va tourner, le nombre et la taille des fichiers à lire, et là on aurait pu commencer à discuter". J'ai peur que ça soit exactement pour cette raison que les gens préfèrent le code sans saveur des LLM au code des experts humains; c'est la même raison qui fait préférer une pizza industrielle à un repas à la Tour d'Argent: le rapport qualité prix dans la plupart des contextes est largement au bénéfice de la solution simple.