Puisque tu poses la question de l'éthique dans l'usage de LLM en local (et que tu remarques, à juste titre, que les LLM opensource n'existent virtuellement pas), je me permets de relayer ce fil récent de zzt (un pote à David Gerard, qui est du genre vénère sur les réseaux sociaux) sur la question. En gros, il reproche aux modèles locaux de n'être qu'une passerelle vers les LLM cloud, car trop médiocres pour être réellement utiles :
in addition to [chip manufacturers], it isn’t possible for anyone other than corporations and nation-states with billions of dollars and control over significant chunks of internet infrastructure to train new models
(...)
the assertion is that none of this matters because the local models (I’m not going to abuse the term open source by applying it to something like this) already exist, but:
- in order to be supposedly useful, models constantly need updating. that’s why these billion dollar companies are still knocking over every site on the web simultaneously with scraping. the local models are currently even more useless than the cloud ones, and that’s saying something.
- in response to any pushback at all, the ability for the local models to supposedly compete (something they’re not actually currently doing effectively) ends.
- the AI corps have plenty of ways to push back, but the one they’ve choreographed in advance is that they consider distillation — deriving one model from the output of another > — to be something they can sue for. distillation isn’t illegal, but see Nintendo and emulation for the chilling effect even an invalid lawsuit can have.
En ce qui me concerne, je sais qu'il y a quelques années on a entraîné des modèles sur le supercalculateur Jean Zay du CNRS, donc pas un truc de multinationale (enfin un peu, le matos vient d'HP et Nvidia), mais je ne sais pas si ce genre de matos est suffisant pour ré-entraîner des modèles "locaux" pertinents aujourd'hui, ni à quel coût.
# "L'écologie, l'économie, tout ça ?"
Posté par Laurent Pointecouteau (site web personnel, Mastodon) . En réponse au journal Auto-héberger ses IA. Évalué à 6 (+4/-0).
Puisque tu poses la question de l'éthique dans l'usage de LLM en local (et que tu remarques, à juste titre, que les LLM opensource n'existent virtuellement pas), je me permets de relayer ce fil récent de zzt (un pote à David Gerard, qui est du genre vénère sur les réseaux sociaux) sur la question. En gros, il reproche aux modèles locaux de n'être qu'une passerelle vers les LLM cloud, car trop médiocres pour être réellement utiles :
En ce qui me concerne, je sais qu'il y a quelques années on a entraîné des modèles sur le supercalculateur Jean Zay du CNRS, donc pas un truc de multinationale (enfin un peu, le matos vient d'HP et Nvidia), mais je ne sais pas si ce genre de matos est suffisant pour ré-entraîner des modèles "locaux" pertinents aujourd'hui, ni à quel coût.