Greg Kroah Hartmann, mainteneur du noyaux Linux en charge des versions stables, a donné il le 11 août une présentation intitulée Linux in the Land of LLMs (support de présentation, captation vidéo sur Youtube) à partir de son expérience de mainteneur. Les principales informations que j'en retiens :
- Ils reçoivent significativement plus de rapports de vulnérabilités qu'auparavant.
- Les LLMs, sont des outils de pattern-matching sous stéroïdes qui découvrent plein de bugs de cette façon : on a déjà vécu ça avec (fuzzers, analyse statique), ça fait beaucoup de bugs à corriger dans un premier temps, c'est normal, mais ça n'est pas la fin du monde, contrairement à ce que veulent faire croire les industriels du secteur. Comptez 18 mois un peu occupés en terme de cybersécurité. Automatisez/accélérez le déploiement des mises à jour.
- On paie en ce moment des décennies de sous-investissement dans la sécurité et la qualité logicielle : tous un tas de bugs qu'on a ignorés ou pas pris le temps de chercher puis de corriger jusqu'à maintenant sont remontés à la surface par ces nouveaux outils.
- Les LLMs mentent, tous. Même les meilleurs modèles produisent 1/4 à 1/3 de faux positifs, tentant de faire croire à un bug là où il n'y en a pas. Démêler les vrais bugs des faux demande une grande compétence sur le code en question. Ils filtrent ça en demandant un correctif en plus du rapport de bug.
- Ils reçoivent très fréquemment des rapports très similaires presque en même temps : GKH l'interprète comme une conséquence du fait qu'une fois qu'un utilisateur a trouvé un bug à l'aide d'un LLM public, ce système de LLM partage ce résultat avec d'autres utilisateurs ayant des requêtes similaires. En conséquence, tout ce qu'on dit à un chatbot opéré par un tiers doit être considéré comme public.
- Aux développeurs, il recommande de faire tourner des modèles sur leur machine pour trouver les bugs avant les autres ou aider à rédiger les patchs. Il rejoint ainsi la position de Linus Torvalds ou de la majorité de la communauté Debian : ces LLMs seraient "juste" un outil, il ne rejoint pas à celles et ceux qui estiment que le monde dans lequel les LLMs existent est un monde qui ne devrait pas exister (pour des raisons politiques, écologiques, économiques, etc.).
# autre alternative
Posté par Misc (site web personnel) . Évalué à 5 (+2/-0).
L'autre alternative, c'est simplement que tout le monde utilise les mêmes 4/5 modèles avec les mêmes types de demande. Il y a sans doute plus que 4/5 personnes qui cherchent des bugs, mais le fonctionnement même d'un langage de modèle, c'est de donner un résultat "moyen". Il est possible que ça converge justement parce qu'il n'y a pas de diversité dans les outils.
[^] # Re: autre alternative
Posté par arnaudus . Évalué à 5 (+3/-1).
Je pense en effet que l'hypothèse initiale est une absurdité. Aucun système n'a assez de marge pour charger dans son contexte les requêtes des tiers, même si on imaginait un monde absurde où les fournisseurs de LLM auraient l'idée saugrenue et totalement illégale de faire circuler les données privées des utilisateurs entre eux.
Les problèmes de confidentialité des LLM sont évidemment avec les fournisseurs de ces systèmes, qui pourraient avoir envie de monnayer les données privées à des fins publicitaires.
[^] # Re: autre alternative
Posté par oau . Évalué à 1 (+1/-2).
Les capitalistes , ne pas faire de truc illégaux ....
[^] # Re: autre alternative
Posté par arnaudus . Évalué à -1 (+1/-5). Dernière modification le 02 septembre 2026 à 15:19.
Je ne crois pas avoir jamais vu un capitaliste faire quelque chose d'inutile et de manifestement illégal. Il y a une forme de rationalité dans le capitalisme; les grosses boites ont des départements juridiques surdimentionnés, et toutes les actions potentiellement illégales sont évaluées selon une grille coût/bénéfices. C'est pas des génies du mal qui ont la malveillance dans la peau, c'est juste qu'il y a une forme d'amoralité qui permet de s'autoriser des actions illégales si elles rapportent plus que ce qu'elles ne coûtent.
En plus, dans le cas présent, ça reviendrait à donner à tous l'accès à des données précieuses (les requêtes des autres utilisateurs), sans aucun but évident (en quoi les requêtes des autres utilisateurs pourraient améliorer les réponses?). À ma connaissance, Facebook fait tout pour aspirer toutes tes données, la position GPS, la couleur de tes chaussettes, et la dernière fois que tu as pris du paracétamol, mais l'algorithme ne va pas reservir ces données au hasard aux autres utilisateurs.
Il y a peut-être la possibilité que les réponses du modèle puissent être affinées sur la base de l'analyse de conversations où le modèle aurait pu faire une erreur, mais je ne suis pas sûr du tout que ça soit automatisé. Vu la fréquence à laquelle ChatGPT admet ses erreurs pour refaire la même dans la minute qui suit, ça n'a pas l'air de très bien marcher au sein de la même session, donc entre sessions d'utilisateurs différents...
[^] # Re: autre alternative
Posté par Misc (site web personnel) . Évalué à 6 (+4/-1). Dernière modification le 02 septembre 2026 à 16:28.
Alors en fait, je pense que c'est pire. C'est pas parce qu'il y a un département juridique que tout les juristes sont bons. Il y a assez logiquement des juristes plus mauvais que d'autre, voir incompétents, qui donnent des conseils sans doute mauvais, des gens qui comprennent pas le probléme (et pas forcément par malice, c'est parfois simplement un souci de culture). Parfois les ingés doivent expliquer des trucs mal compris par le département juridique qui va donc dire "ok" alors que non parce que les ingés expliquent mal. Il y a parfois des lois mal écrites, mal comprises, des lois qui changent. Si les devs font des bugs malgré leurs efforts, il faut bien voir que les juristes doivent faire pareil.
Et dans tout ça, il y a sans doute plein de gens qui improvisent, qui prennent des raccourcis. Mais bon, pourquoi s’embêter avec la réalité et sa complexité quand on peut simplement imaginer une cabale de gens extrêmement compétents pour expliquer tout avec des mots creux comme "capitalisme".
[^] # Re: autre alternative
Posté par oau . Évalué à 2 (+1/-1).
je suis pas sur d'avoir compris.
[^] # Re: autre alternative
Posté par Benoît Sibaud (site web personnel) . Évalué à 10 (+8/-0).
Comme financer le terrorisme (exemple Lafarge) ?
Comme indexer tous les sites de contenus illégaux pour permettre à des LLM de connaître chaque musique/texte/livre/film/logiciel ?
Comme corrompre des officiels (exemple Bolloré) ?
Comme faire des ententes illégales via des cartels ?
Comme ne pas respecter les droits de salariés ?
...
La liste est sans fin. Évidemment qu'il y a des capitalistes qui font des choses inutiles (y a des idiots partout après tout, et puis ça peut être sciemment ou à dessein par manipulation) et du manifestement illégal.
Note: la réponse serait la même avec « je ne crois pas avoir jamais vu une sommité religieuse / une personnalité politique / un enfant / une profession donnée / ...
[^] # Re: autre alternative
Posté par arnaudus . Évalué à -2 (+0/-5).
Aucun des exemples que tu donnes semble inutile, loin de là! Lafarge a collaboré avec les autorités locales de facto pour maintenir leur activité, c'est au contraire extrêmement utile pour eux! Indexer les sites illégaux est indispensable à l'apprentissage d'un LLM compétitif, donc là encore, c'est une histoire de balance bénéfice/risque.
[^] # Re: autre alternative
Posté par Benoît Sibaud (site web personnel) . Évalué à 7 (+4/-0). Dernière modification le 02 septembre 2026 à 17:14.
C'est sûr que si tu rajoutes « pour eux » à « inutile », à part être totalement irrationnels (disons Musk ?)... Maintenant si tu parles utilité pour la société ou à long terme, c'est assez différent.
[^] # Re: autre alternative
Posté par oau . Évalué à 5 (+3/-0).
homme de paille tout ça. J'ai jamais dit inutile. J'ai juste dit illégal.
# Debian
Posté par Vlobulle . Évalué à 3 (+2/-1).
Cette remarque me fait penser que je n'ai pas croisé de journal ou de dépêche sur la conclusion du vote de la communauté Debian vis à vis de l'utilisation de LLMs. Qui, comme tu le dis, considère que c'est juste un outil, rappelle simplement la responsabilité des utilisations des contributeurs.
C'est plutôt propre comme façon de dire "on peut rien faire de toute façon".
[^] # Re: Debian
Posté par pulkomandy (site web personnel, Mastodon) . Évalué à 7 (+4/-0).
Le sujet a été annoncé et débattu dans les liens: https://linuxfr.org/users/misc/liens/results-for-llm-usage-in-debian
# Sur le même sujet, chez Mozilla
Posté par Colargol . Évalué à 3 (+1/-0).
Toujours sur YouTube (chaîne _underscore, en français), Sylvestre Ledru explique comment Mozilla a eu accès en avant-première au modèle Mythos d'Anthropic pour trouver des failles de sécurité dans Firefox.
[^] # Re: Sur le même sujet, chez Mozilla
Posté par piratebab2 . Évalué à 1 (+1/-1).
J'ai vu cette vidéos il y a quelques jours, elle est très instructive. Ca rejoint le point de vue du dev noyau.
Mais il aborde aussi le coté logiciel propio (code source non public, donc non auditable par un LLM). D'parés lui, les LLM sont déja couplés avec des désassembler. Le code source issue d'un désassembler n'est pas simple à lire par un humain (ie nom des variables), mais très simple à lire par un LLM.
Donc la vague des failles découvertes dans le libre va aussi déferlée sur les logiciels proprios prochainement.
# Nouvelles failles ou pas
Posté par arnaudus . Évalué à -1 (+1/-5).
En fait, la question qui est posée est l'existence possibles de failles conceptuellement inconnues. Là, le texte sous-entend que les LLM ne peuvent détecter que des failles dont le principe est connu, mais qu'ils seraient incapables de détecter des failles totalement nouvelles, mais est-ce que de telles failles existent réellement?
Après, il ne faut pas sous-estimer l'évolution des perfs de ces modèles; l'auteur dit qu'en 18 mois on aura fait le tour des correctifs, mais 18 mois c'est largement assez pour qu'une nouvelle génération de modèles soit capable de remonter des nouveaux types de failles.
Oui, enfin, ils font des erreurs. Mentir nécessite une volonté de tromper, on sait que les LLM peuvent mentir, mais je ne suis pas sûr que la situation décrite ici corresponde à ça.
Par contre, le problème décrit (le fait que certaines failles déclarées n'en sont pas vraiment) me semble potentiellement gérable grâce aux LLM eux-mêmes, qui excellent à "discuter" entre eux pour vérifier des problèmes complexes. Si un agent est configuré pour mettre en doute la réalité des failles soumises, de demander plus de preuves, des correctifs, etc., il est probablement possible d'éviter justement que les humains se fatiguent trop à réfuter les rapports des LLM.
[^] # Re: Nouvelles failles ou pas
Posté par seveso . Évalué à 4 (+4/-1). Dernière modification le 03 septembre 2026 à 08:40.
Non. Ils sont conçus pour avoir réponse à tout, de façon plausible.
Pour ma part c'est suffisant pour considérer que chaque réponse de LLM est un mensonge, même si parfois (souvent ?) ça tombe juste.
J'écris ça alors que je n'utilise pas de LLM, donc peut-être que je me trompe. En tout cas je pourrais changer d'avis (sur ce sujet du mensonge) le jour où on me dira que des LLMs acceptent de répondre "je ne sais pas".
[^] # Re: Nouvelles failles ou pas
Posté par Andréas Livet . Évalué à 2 (+0/-0).
Disons qu'ils y a beaucoup de travaux dans ce sens (déso j'ai pas de lien précis, entendu des podcasts et vu des vidéos qui parlaient de ça).
En fait, si tu prends un LLM "seul" (à nu on pourrait dire), ils fonctionnent toujours comme tu dis, mais maintenant quand tu questionnes Gemini, Claude etc. En fait, tu ne questionnes pas juste un LLM. Tu questionnes un système qui a des outils à sa disposition, qui a des mécanismes de "réflexion" (dans le sens où une partie de sa sortie n'est pas affichée par défaut) qui vont lui permettre de nuancer ses propos et parfois de pouvoir dire qu'il ne sait pas.
Anthropic et d'autres essaient aussi d'avoir des mécanisme d'analyse des "patterns d'activation neuronale" qui s'activent quand le LLM "invente" ou ne fait pas appelle au zone de son réseau qui constitue sa base de connaissance, afin de pouvoir "détecter" quand un LLM ne sait pas et donc intervenir en amont de la réponse finale, mais je crois que ce genre de piste est encore exploratoire.
[^] # Re: Nouvelles failles ou pas
Posté par Faya . Évalué à 2 (+2/-2).
Ils le font. Tout le temps.
Ça c'est un problème récurrent ici. Il y tout plein de bonnes raisons de ne pas les utiliser mais du coup faut aussi s'abstenir de critiquer ce qu'ils feraient ou ne feraient pas (ce qui n'est pas pareil que critiquer leur consommation par ex. ou les gourous qui les financent ou les promeuvent). Parce que c'est systématiquement à côté de la plaque.
[^] # Re: Nouvelles failles ou pas
Posté par wilk (site web personnel, Mastodon) . Évalué à 5 (+3/-0). Dernière modification le 03 septembre 2026 à 16:12.
Ils ne peuvent le faire qu'en répétant que quelqu'un l'a déjà dit, donc en quelque sorte quand ils savent qu'ils ne savent pas (que ça a déjà été écrit). Mais jamais de leur propre chef, c'est conceptuellement impossible.
Le problème récurrent est surtout de prétendre connaître les LLMs du simple fait de les utiliser (ce qui peut être effectivement bluffant) sans chercher à en comprendre le fonctionnement.
[^] # Re: Nouvelles failles ou pas
Posté par Faya . Évalué à 2 (+0/-0).
Les LLM (en particulier les modèles dit "frontières") aujourd'hui sont capables de déductions. Ils peuvent te donner une probabilité de fiabilité de réponse. Ils peuvent identifier des situations où « je ne sais pas » est la réponse correcte, sans avoir rencontré exactement cette situation auparavant (et donc sans avoir lu la réponse ailleurs si c'est ce que tu voulais dire). Tu fournis un document en demandant des informations qui ne s'y trouvent pas, ils peuvent répondre "le contexte ne me permet pas de répondre". Avec les modèles à "raisonnement" on a quitté le step "générateur de texte" depuis un moment. Il faut aussi voir qu'on est rarement exposé directement au modèle. Il y a toute une couche autour (le fameux "harnais") avec le prompt système, du routage, des sous-agents, des règles... Mais le problème de l'abstention des LLM n'est bien sûr pas résolu (sinon ça voudrait dire que les hallucinations n'existent plus et ça n'est pas le cas). La recherche se poursuit. Exemple
Je n'ai pas l'impression d'avoir fait ça. Ni de l'avoir vu ici d'ailleurs. Mais je peux par contre confirmer que les LLM aujourd'hui sont capables de ne pas répondre (donc dire "je ne sais pas") si c'est la réponse adéquate.
[^] # Re: Nouvelles failles ou pas
Posté par wilk (site web personnel, Mastodon) . Évalué à 3 (+1/-0).
Ton lien indique que ce n'est pas du tout gagné ce qui est assez normal car d'une part c'est contraire au principe des probabilités et d'autre part ça n'est pas vendeur du tout.
Donc quand tu dis que c'est tout le temps tu exagères un petit peu non ?
Est-ce que tu as souvent vu Claude indiquer qu'il ne sait pas quand tu lui demande un bout de code ou une question sur du code ? Est-ce qu'on peut trouver un exemple sur un bout de code libre avec une question où il répondrait qu'il ne sait pas ? Ca permettrait de voir si on parle de la même chose.
[^] # Re: Nouvelles failles ou pas
Posté par Faya . Évalué à 2 (+0/-0).
Oui c'est pour ça que je l'ai partagé. Précédé de "le problème de l'abstention des LLM n'est bien sûr pas résolu." Le tout le temps était bien sûr un équivalent vulgaire de "régulièrement". Pas 100% du temps.
Il m'a dit qu'il ne savait pas pour des tarifs AWS ou pour une documentation non-accessible d'une API. Si tu as un truc précis en tête, testons. Si on pose la question sur du code libre, il risque d'avoir lu sur le sujet donc je ne sais pas si ça va bien illustrer le "je ne sais pas" sur un sujet dont il n'a pas déjà connaissance. Mais ce à quoi je répondais à l'origine c'est « le jour où on me dira que des LLMs acceptent de répondre "je ne sais pas". » On peut vérifier très rapidement qu'ils l'acceptent. Avec une question con genre « Les chaussures de la mère de Joël ont coûté 20€. Quel est le prénom de la mère de Joël ? » ou en lui posant des questions sur un document alors que la réponse ne s'y trouve pas (ça j'ai testé en l'interrogeant (NotebookLM) sur une masse de documents pour un appel d'offre par exemple).
Envoyer un commentaire
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.