• # Et si on testait nous-même?

    Posté par (site web personnel, Mastodon) . En réponse au journal imagemagick, GraphicsMagick, vips, chatgpt. Évalué à 10. Dernière modification le 04 janvier 2023 à 18:57.

    J'avais cette idée de journal depuis pas mal de temps car j'ai mis un temps fou pour trouver gm et vips qui m'ont bien aider dans le traitement d'énorme quantité d'image, cela a été rédigé par chatgpt en 15 minutes. Merci à lui c'est gratuit pour le moment. Vous avez des idée de journal ? La flemme de les écrire ? Essayez

    C'est une pub pour ce truc d'IA en fait et le fait de parler de certains outils graphiques n'est qu'une excuse comme une autre, c'est ça alors? Non parce qu'en plus je remarque que le seul lien de tout le journal est pour chatgpt.

    Sinon moi aussi j'ai complètement tiqué en arrivant à cette phrase et comme d'autres, ça m'a carrêment fait douter des résultats. Genre là on demande à une AI (qui est tout sauf intelligente et n'a pas réellement testé quoi que ce soit, mais ressort simplement des textes; c'est vraiment l'inverse de l'intelligence...) et on utilise le résultat comme vérité pure et dure, et il faudrait pas se poser de questions?

    Notons que ce n'est pas une critique contre l'intelligence artificielle en tant que champs d'étude ou pour son usage utile dans des logiciels. C'est aussi ce que j'ai étudié moi-même en spécialité universitaire et j'adore l'IA. C'est tout simplement rappeler le concept de l'intelligence artificielle: donner l'impression qu'un ordinateur a une intelligence, le tout bien sûr idéalement avec une utilité si possible. On est plus dans le domaine de la persuasion que dans le réel. Le but de l'IA n'a jamais été de créer vraiment une intelligence. La "singularité" (vous savez ce truc de SF où on croit qu'on aura un jour une IA qui prend conscience d'elle-même, prend son propre destin en main, et en général ça termine en apocalypse pour les humains), on laisse ça à la science fiction.

    Alors bon, plutôt que juste "tiquer" et "douter", comme ces outils sont facilement installables, je trouve une image de taille raisonnable (pas trop petit, pour que le temps de traitement de l'image soit la majorité du temps calculé), puis essayons nous-même:

    # J'avais déjà ImageMagick.
    $ sudo apt install graphicsmagick libvips-tools
    $ time convert hero_art-GIMP-3840x2160.jpg -resize 200% im.jpg
    real 0m1.288s
    user 0m6.246s
    sys 0m0.786s
    $ time gm convert hero_art-GIMP-3840x2160.jpg -resize 200% gm.jpg
    real 0m1.295s
    user 0m6.224s
    sys 0m1.651s
    # La commande donnée dans le journal est mauvaise et ne marche pas!
    $ time vipsthumbnail hero_art-GIMP-3840x2160.jpg --size=200% vips.jpg
    thumbnail: bad geometry spec
    real 0m0.065s
    user 0m0.036s
    sys 0m0.028s
    # La bonne commande après une recherche email et un man vipsthumbnail:
    $ time vipsthumbnail hero_art-GIMP-3840x2160.jpg --size=7680x -o vips.jpg
    real 0m0.578s
    user 0m3.457s
    sys 0m0.044s

    Donc plusieurs remarques:

    • Je vous épargne de multiples copié-collés, mais j'ai lancé chaque commande au moins 4 ou 5 fois. Je l'ai pas fait des centaines ou milliers de fois dans une boucle scriptée, mais mon but n'était pas non plus de faire un test scientifique. Je voulais juste vérifier plus ou moins les ordres de grandeur assénés dans ce journal généré par une IA.
    • Globalement mes résultats restent cohérents d'une exécution à l'autre. À savoir qu'ImageMagick et GraphicsMagick ont globalement le même temps d'exécution avec les paquets Debian, sur la même machine (en répétant la commande plusieurs fois, parfois l'un est un chouille plus rapide, parfois c'est l'autre; aucun n'est plus rapide de manière incontestable. En tous cas, on est super loin du journal où gm serait 26 fois plus rapide. Ou alors faudrait savoir dans quelles conditions exactes (peut-être avec des flags de compilation spécifiques? Ou bien c'est simplement l'IA qui dit n'importe quoi parce que — je répète — elle n'a pas réellement testé quoi que ce soit).
    • VIPS est effectivement plus rapide, un peu plus de 2 fois plus rapide par rapport au second sur cet exemple précis (ceci dit, loin du 13 fois plus rapide, comme l'annonce le journal). Ensuite cet outil est initialement fait pour faire des vignettes d'aperçu — comme le nom l'indique — et le man explique que ça permet de redimensionner, faire des découpes, retirer ou changer un profil de couleur, faire une rotation... C'est sympa, mais c'est loin des possibilités des autres outils cités. Une comparaison basée seulement sur le temps de traitement est plutôt mauvaise. C'est intéressant et un point utile, mais ce n'est pas une comparaison juste des outils cités de s'arrêter à ça. Enfin bon, soit. C'est un détail et loin d'être le vrai problème ici (si les résultats étaient justes, faits avec de vrais tests, par un humain, j'aurais pas fait ce commentaire d'ailleurs; ça reste une comparaison intéressante en soi).
    • Enfin on remarquera que la ligne de commande pour vipsthumbnail qui avait été donnée dans le journal est totalement mauvaise. L'option --size=200% n'existe pas, comme j'ai pu le constater sur un petit tuto officiel en ligne et avec le man. Il faut calculer soi-même la taille finale voulue (sur au moins un des côtés et mettre x pour l'autre côté, laissant l'outil faire en proportionnel). Et une fois ce problème réglé, ça ne marche toujours pas, car le fichier de sortie utilise l'option -o. Il y a donc deux erreurs grossières dans la commande donnée. En plus des résultats temporels à la ramasse, ça pose vraiment des questions sur l'entièreté des résultats donnés par ChatGPT.

    Non en fait, j'rigole, ça n'en pose aucune, on savait déjà que ce truc raconte n'importe quoi. Je rappelle encore une fois (troisième ici!) que c'est juste un chatbot entraîné avec des techniques d'IA sur des données textuelles dont le seul but est de générer des textes qui ont l'air crédibles. C'est le seul but: il faut qu'on puisse y croire. Rien de ce que ça retourne — absolument rien! — ne doit être pris pour argent comptant. L'IA n'est pas allée faire son petit test, n'a pas installé les 3 outils pour tester en arrière plan pour ensuite sortir une comparaison des outils. Elle a juste sorti un texte bidon qui pourrait être vrai (dans un monde hypothétique), du moins dont le rendu a l'air plausible si on cherche pas à vérifier et regarder dans les détails.
    Ça peut être vrai comme ça peut être un gros truc totalement bidon qui sort dont ne sait où (pas même les créateurs ne pourraient en être sûr probablement, c'est la magie de l'IA par entraînement sur données massives). Il faut considérer ça comme étant aléatoire, comme ça a bien été prouvé ici. En fait, quand je dis "ça pourrait être vrai", si c'était le cas, ce serait vraiment de la grosse chance puisque rien n'a été réellement testé (on peut même pas parler de conditions de tests adéquates ou non ici; y a même pas eu de test!). Donc en fait je suis gentil avec l'IA parce que les chances que ce soit faux sont bien plus élevées. Cette comparaison ne vaut simplement rien.

    Et quand je dis que ça doit avoir "l'air crédible", c'est du style: si on me demande "quel temps fait-il?", je pourrais répondre "il pleut" au hasard. Ça se trouve, avec de la chance, c'est vrai. C'est une réponse crédible pour la question, mais ce n'est pas de l'intelligence. Et ça ne l'est pas plus même s'il se trouve qu'il pleut réellement quand vous demandez ça à une IA.

    Ça me tue que certains semblent utiliser ce bot comme s'ils utilisaient Wikipedia de nos jours. Wikipedia, il peut y avoir des erreurs, des tromperies, mais au moins, y a des gens derrière qui corrigent, qui relisent, etc. C'est loin d'être infaillible, mais pas vraiment moins non plus que les vieilles encyclopédies de la vieille époque, qui étaient aussi pleines d'erreurs. Là, on tombe super bas, avec l'humanité qui commence à utiliser des trucs générés par un bot, qu'on sait être en gros équivalent à de l'aléatoire, et à en faire des références. Ça fait peur.
    Sérieux avant, on donnait des liens à Wikipédia en référence pour donner des indices pour approfondir les recherches. J'ai remarqué que de nos jours, certains se contentent de copier-coller une réponse de ChatGPT et s'imaginent que ça répond à la question. 🤦

    C'est fou d'ailleurs qu'on voit des gens qui croient vraiment au baratin marketing qui fait croire que ces trucs d'IA donnent des réponses de qualité. On a eu quelqu'un l'autre jour qui a ouvert une demande de fonctionnalité sur GIMP pour intégrer ChatGPT pour faire de la retouche d'images avec des commandes textuelles (je crois qu'il confondait avec Stable Diffusion, ou alors il voulait vraiment juste parler d'un interfaçage pour donner des ordres au logiciel, mais qu'importe). Cette personne était vraisemblablement un développeur et nous explique avoir passé une semaine de panique à croire qu'il allait bientôt finir viré car il avait découvert ce bot et s'était rendu compte que le bot était capable de produire du code bien plus rapidement que lui. Et donc pour lui, la solution était d'intégrer au plus vite ces solutions d'IA dans les logiciels pour ne pas être "à la traîne" et utiliser de tels bots partout lui-même. Mais quelqu'un a déjà regardé de près du code généré? Vous croyez que c'est maintenable, voire même tout simplement bon tout court?

    Quelqu'un avait posté sur LinuxFr un lien sur une étude qui montraient que les développeurs qui utilisaient des assistants d'IA écrivaient du code beaucoup moins sécurisés de manière globale, et ironiquement ils croient en écrire du plus sécurisé! J'avais d'ailleurs donné déjà mon avis sur ces IA sous ce lien (comme je le fais un peu trop ces derniers temps, car on se met à en voir des références un peu partout! Comme si c'était des nouveaux messies électroniques...).
    Les images générés (par des trucs genre Stable Diffusion et consort) sont vraiment pas mieux. Ce sont des images totalement kitch, sans aucune originalité, on dirait les mêmes clichés qui ont "l'air impressionnants" répétés 1000 fois, sans aucune réflexion (comme je connais plusieurs artistes et vois comment ils se torturent les méninges sur le sens de leurs œuvres, sur chaque détail qu'ils y mettent, quitte à refaire des points encore et encore quand ils revoient leur vision, ça me fait de la peine que certains voient pas la différence avec des images générées qui ont juste pour elles d'utiliser des couleurs pêtantes — ça doit stimuler le cerveau j'imagine — avec des persos dans des poses holliwoodiennes et des fonds plus clichés-tu-meurs; c'est équivalent à ceux qui semblent croire que du code torché par une IA en 30 minutes sera équivalent à du code produit par un bon développeur qui aura pris des semaines ou des mois, à tester, peaufiner, nettoyer, tester encore, changer son implémentation, tester à nouveau, réfléchir à chaque petit détail... tout ça juste parce qu'ils l'auront testé 5 minutes et que "ça marche"), avec des erreurs à chaque recoin quand on regarde dans les détails (des pieds manquants, des doigts en trop, des anatomies foireuses où on se dit des personnages "le pauvre, il doit souffrir", des problèmes de finition partout qui feraient honte à tout peintre, etc.), tout ça pour générer des images en ×ばつ512 car c'est le format d'entrée des données lors de l'apprentissage. Pour ceux qui savent pas trop, c'est une résolution d'image très faible, inutilisable pour la plupart des usages de nos jours (si on veut du qualitatif j'entends). Par contre, c'est suffisant pour juste montrer des images démos, suffisamment pour impressionner sans aller beaucoup plus loin. Ça me fait marrer, sur un forum, j'avais lu des gens qui conseillent de d'abord générer des images comme ça, puis de passer dans un autre système d'IA pour agrandir sans que ce soit flou ("upscaler", "super-resolution", etc. donc on ajoute plus de données externes), puis d'autres "amélioreurs" d'images IA ("super-enhancers", ils aiment bien mettre le mot "super" partout ceux qui nomment les logiciels d'IA)... On se retrouve avec des images moches passées par 2 ou 3 moteurs d'IA, qui auront sûrement pris presque autant de temps à faire au final, et avec plein d'erreurs. 🤦
    Et bien sûr, les textes générés (notamment par ChatGPT qui est effectivement la grosse mode ces derniers temps) ne sont pas mieux comme je l'ai montré. Et j'ai déjà vu quantité de blogs posts (les médias avec pignon sur rue, eux, ont plutôt tendance à vénérer ces nouveaux systèmes sans se poser trop de questions; ce qui pose aussi des questions puisque leur métier devraient plutôt les inciter à avoir un esprit critique, surtout quand on voit la quantité de non-sens absolus produits par ce bot, qu'ils auraient dû vérifier avant d'y croire) où d'autres gens ont fait pareil, à savoir complètement démonter les réponses du bot sur divers sujets pour montrer qu'il faut arrêter d'y croire sans se poser de questions. Et là on n'est plus dans le cas Wikipédia où on peut dire aux gens qu'il faut vérifier, croiser les sources, que les gens peuvent faire des erreurs, ou même que certains rédacteurs peuvent mentir exprès pour raisons X ou Y. Ici on est plus proche du cas "considérez le résultat comme aléatoire". Ce ne sont pas des erreurs, juste du gloubi-boulga, avec pour seule particularité que c'est exprimé de manière à paraître plausible si on ne cherche pas à réfléchir sur le texte, son fond, ou à le vérifier.

    Bref, toutes ces AI et cette course effrénée pour en utiliser le plus possible de nos jours, c'est vraiment la course à la médiocrité.

    Conclusion: vous avez des idées de journal ? La flemme de les écrire ? Faites pas forcément comme moi qui ai le clavier léger, et écrivez les plus courts s'il le faut ! Ça peut être très intéressant aussi. Ce journal, par exemple, aurait pu être intéressant avec les mêmes tests (mais des tests véridiques!) que j'ai fait, et ces derniers m'ont pris moins de 5 minutes à faire. Si vraiment vous y arrivez pas, vous n'êtes pas forcés d'écrire, on vous apprécie quand même. Mais par pitié, n'utilisez pas un bot pour rédiger votre journal!

    Film d'animation libre en CC by-sa/Art Libre, fait avec GIMP et autre logiciels libres: ZeMarmot [ http://film.zemarmot.net ]