Déja, pour la confidentialité, il faut distinguer les trucs gratuits et/ou sponsorisés, qui sont l'équivalent des cookie walls pour les sites d'information : tu payes l'accès au truc en partageant des données qui seront exploitées par le fournisseur du service. C'est quand même très différent de l'abonnement ou de la souscription professionnelle, dans laquelle tu payes la confidentialité. Et à moins de suspecter une trahison du fournisseur, dont les raisons seraient quand même assez obscures vu les enjeux, tu peux quand même imaginer que tes données sont à peu près autant protégées que le reste des services auxquels tu souscris (stockage, CPU, cloud bureautique, etc). Je ne suis pas favorable à partager une paranoïa généralisée sur la confidentialité; quand tu souscris un service qui te garantit une forme de confidentialité, rien ne prouve que cet engagement n'a aucune valeur. Évidemment, quand le fournisseur reçoit des demandes émanant d'un service étatique ou de la justice, ou quand le fournisseur se fait hacker, etc., tes données peuvent se retrouver dans la nature, mais ça n'arrive pas "naturellement".
L'option "config dédiée" reste quand même assez intéressante, puisqu'elle reste compatible avec l'esprit du libre, comme peut l'être un serveur Mastodon ou un serveur email communautaire. Ça ne veut pas dire que c'est gratuit, mais ça veut dire éventuellement que Linuxfr pourrait, si besoin était par exemple de faire tourner des LLM pour filtrer automatiquement le spam, pour corriger les fautes, pour vérifier les liens, etc., accéder à un modèle hébergé par un tiers de confiance (associatif?), sans nécessairement collaborer avec des entreprises US.
Pour revenir aux configs dédiées, on parle de machines dont le coût d'achat doit tourner autour des 20k€ (évidemment, il n'y a pas de limite haute), ce qui reste accessible pour une structure moyenne (grosse association, petite entreprise, etc).
Personne n'évoque par contre des configurations sous-optimales, mais peut-être plus accessibles, comme une grille de PC. Sur les forums, on voit trainer des perfs de l'ordre de 1 token par seconde pour un PC standard sans GPU, ce qui en effet est trop lent pour la plupart des usages, mais même avec un rendement de 10%, une grappe de 100 PC (par exemple dans un immeuble de bureaux) pourrait permettre d'accéder à 10 tokens par seconde, ce qui est apparemment suffisant pour des opérations classiques sur des textes (génération de lettres ou d'emails, relecture et correction des fautes, traduction...).
[^] # Re: Cohérence sur cette histoire de coût
Posté par arnaudus . En réponse au journal Auto-héberger ses IA. Évalué à 5 (+2/-0).
Il y a quand même des "sous-options".
Déja, pour la confidentialité, il faut distinguer les trucs gratuits et/ou sponsorisés, qui sont l'équivalent des cookie walls pour les sites d'information : tu payes l'accès au truc en partageant des données qui seront exploitées par le fournisseur du service. C'est quand même très différent de l'abonnement ou de la souscription professionnelle, dans laquelle tu payes la confidentialité. Et à moins de suspecter une trahison du fournisseur, dont les raisons seraient quand même assez obscures vu les enjeux, tu peux quand même imaginer que tes données sont à peu près autant protégées que le reste des services auxquels tu souscris (stockage, CPU, cloud bureautique, etc). Je ne suis pas favorable à partager une paranoïa généralisée sur la confidentialité; quand tu souscris un service qui te garantit une forme de confidentialité, rien ne prouve que cet engagement n'a aucune valeur. Évidemment, quand le fournisseur reçoit des demandes émanant d'un service étatique ou de la justice, ou quand le fournisseur se fait hacker, etc., tes données peuvent se retrouver dans la nature, mais ça n'arrive pas "naturellement".
L'option "config dédiée" reste quand même assez intéressante, puisqu'elle reste compatible avec l'esprit du libre, comme peut l'être un serveur Mastodon ou un serveur email communautaire. Ça ne veut pas dire que c'est gratuit, mais ça veut dire éventuellement que Linuxfr pourrait, si besoin était par exemple de faire tourner des LLM pour filtrer automatiquement le spam, pour corriger les fautes, pour vérifier les liens, etc., accéder à un modèle hébergé par un tiers de confiance (associatif?), sans nécessairement collaborer avec des entreprises US.
Pour revenir aux configs dédiées, on parle de machines dont le coût d'achat doit tourner autour des 20k€ (évidemment, il n'y a pas de limite haute), ce qui reste accessible pour une structure moyenne (grosse association, petite entreprise, etc).
Personne n'évoque par contre des configurations sous-optimales, mais peut-être plus accessibles, comme une grille de PC. Sur les forums, on voit trainer des perfs de l'ordre de 1 token par seconde pour un PC standard sans GPU, ce qui en effet est trop lent pour la plupart des usages, mais même avec un rendement de 10%, une grappe de 100 PC (par exemple dans un immeuble de bureaux) pourrait permettre d'accéder à 10 tokens par seconde, ce qui est apparemment suffisant pour des opérations classiques sur des textes (génération de lettres ou d'emails, relecture et correction des fautes, traduction...).