C'est intéressant.
Ce qui serait intéressant à ajouter (mais c'est du travail j'en conviens), ce serait de faire des répétitions de la même expérience.
Étant donné le caractère stochastique des LLM (un prompt peut produire une infinité de réponses), ce serait intéressant de voir si le classement que tu produits est stable, ou bien si à chaque itération de l'expérience, les modèles peuvent se retrouver plus ou moins bien notés...
# Reproductibilité
Posté par François Chaix (Mastodon) . En réponse au journal Comparatif : 6 LLMs locaux face à un exercice Python simple. Évalué à 8.
C'est intéressant.
Ce qui serait intéressant à ajouter (mais c'est du travail j'en conviens), ce serait de faire des répétitions de la même expérience.
Étant donné le caractère stochastique des LLM (un prompt peut produire une infinité de réponses), ce serait intéressant de voir si le classement que tu produits est stable, ou bien si à chaque itération de l'expérience, les modèles peuvent se retrouver plus ou moins bien notés...