Ça serait intéressant d'avoir des benchmarks bien fichus pour les LLM.
Je ne suis pas sûr que ça soit possible d'avoir un bon benchmark sans qu'il soit sauvagement abusé par la loi de Goodhart.
La qualité d'un LLM n'est pas forcément liée à sa capacité à échapper aux pièges, parce que quand on l'utilise comme un outil, on n'essaye pas de le piéger.
Je vois des gens des gens autour de moi, j'ai l'impression que c'est leur seul usage de l'outil, juste pour me démontrer par A + B que c'est de la merde et ça ne sera jamais utile. Mais pour être honnête, c'est juste un bon retour de karma vu à quel point j'ai été insupportable et troll avec eux concernant la blockchain :D
Il ne faut pas non plus oublier les questions de sécurité. Y'aura toujours des agents malveillants pour tenter d'abuser les outils à leur disposition. Et avec l'intégration de plus en plus poussé de l'AI dans tout et n'importe quoi, les prochaines années / décennies risque d'être bien funky...
Pour certaines tâches, des tests objectifs sont probablement possibles (par exemple quand il s'agit de programmation), pour d'autres tâches c'est plus compliqué.
[^] # Re: Oups.
Posté par jtremesay (site web personnel) . En réponse au lien LUCIE — l'IA véritablement open source construite sur la transparence, la confiance et l'efficacité.. Évalué à 4.
Je ne suis pas sûr que ça soit possible d'avoir un bon benchmark sans qu'il soit sauvagement abusé par la loi de Goodhart.
Je vois des gens des gens autour de moi, j'ai l'impression que c'est leur seul usage de l'outil, juste pour me démontrer par A + B que c'est de la merde et ça ne sera jamais utile. Mais pour être honnête, c'est juste un bon retour de karma vu à quel point j'ai été insupportable et troll avec eux concernant la blockchain :D
Il ne faut pas non plus oublier les questions de sécurité. Y'aura toujours des agents malveillants pour tenter d'abuser les outils à leur disposition. Et avec l'intégration de plus en plus poussé de l'AI dans tout et n'importe quoi, les prochaines années / décennies risque d'être bien funky...
La seule bonne manière de coder, c'est la mienne.© Malheureusement, je n'ai pas encore réussi à convaincre le monde de l'objectivité absolue de cette affirmation...