Les humains ne sont très probablement pas purement déterministes non plus.[...]
Vrai. Par contre la nature du fonctionnement est très différente. Prends un humain moyen et demande lui d'arbitrer un problème rationnel et non idéologique, idéalement quand son intérêt et/ou sécurité sont engagées.
Il fera alors des choix très rationnels, basés sur un savoir objectif, tenant compte de la situation et si il a des lacunes, ils peut les analyser de lui même froidement.
Pour qu'un humain dise ou fasse n'importe quoi, il faut un contexte (religieux, idéologique, égotique, manipulation, à priori, etc...)
Les llms eux, peuvent raconter n'importe quoi et il n'y a aucune distinction de nature entre le vrai et le faux.
Ce sont juste des statistiques.
Tu n’as pas besoin d’être totalement fiable, juste plus fiable. Plus tu es fiable, plus tu peux faire des tâches à horizons longs sans te planter[...]
J'en doute (en tout cas dans l'idée de rendre les IA autonomes).
Imaginons que tu ais le meilleur modèle qui commet une erreur 5% du temps et le moins bon (tout en bas des classements à la mode), qui en fait 15% du temps.
Le meilleur modèle est il pour autant réellement plus utilisable dans le vrai monde quand il s'agit de prendre des décisions qui ont un impact financer et sur la vie de vrai personnes ?
Cela sera t'il si différent si ça tombait à 1% ? Et puis, si par malheurs il tombe sur des problèmes nouveaux et imprévus, les 1% théoriques peuvent vite devenir 30% réels.
Tu le dis toi même, repérer ses propres erreur est un truc sur lequel les llms ont beaucoup de mal.
Un début de résolution (très imparfait par ailleurs) passe par la mise en place d'agents qui contrôlent et valident les sorties avec des instructions spécifique pour ça.
Mais sinon je n'ai jamais vu un llm dire de lui même "au fait excuse moi mais je me suis trompé dans mon message précédent".
Pour que ça arrive, il faut lui indiquer l'erreur (via la sortie d'un interpréteur, la réponse d'un appel de fonction ou une remarque humaine).
Bref, il faut les guider, et donc il faut toujours une sorte d'oracle pour valider les résultats (d’où l'idée des agents centrés sur la génération de code Python comme Smolagents de Huggingface, le système de validation étant l'interpréteur) conjugué à une passe récursive de contrôle critique du llm sur sa propre génération via des instructions spécifiques.
Pour moi c’est clairement incorrect en soit ?
C'est pour ça que j'ai parlé de problème d'alignement.
Le modèle raconte peut être n'importe quoi de ton point de vu parce que c'est pas le résultat attendu, mais c'est correct dans le sens où c'est le strict reflet de ses données d'apprentissage, basés sur des transcriptions de films et d’émissions de télé et radio.
On a exactement le même problème avec les llms à qui l'on veut attribuer des propriétés émergentes alors que ça ne sont que des ajustements induits par leurs développeurs.
Si Gemma-3 et Qwen terminent toutes leurs phrases par des émoticône, c'est pas parce qu'ils sont plus joyeux que les autres.
Plus le modèle est capable, plus créer l’application est à la portée du modèle lui même. Et moins le modèle a besoin des "rails" de l’application. À terme je ne vois pas comment l’application peut être un avantage compétitif fiable.
Après, si dans "application" tu mets tout l’aspect juridique/commercial/etc... là oui, on va être d’accord. Mais le code du wrapper en lui-même ? non.
N'as tu pas dû toi même guider Claude ?
Donc tu as fais à la main ce qu'un logiciel serait amené à faire pour tenter de rendre Claude autonome.
Peut être ais je des failles dans mon raisonnement, mais je n'ai pas l'idée d'un seul domaine du monde réél où on prendrait un llm à qui on demanderait de rendre des services en totale autonomie sans que ça ne tourne rapidement en rond (dans le meilleur des cas), ou en hors sujet (plus probablement).
Ce sont de formidables outils, mais en dehors d'être des agents conversationnels, je reste sceptique quant à leur capacité à être réellement autonomes par eux même.
[^] # Re: Et Mistral ?
Posté par Florian.J . En réponse à la dépêche Nouvelles sur l’IA de mars 2025. Évalué à 0. Dernière modification le 11 avril 2025 à 00:26.
Vrai. Par contre la nature du fonctionnement est très différente. Prends un humain moyen et demande lui d'arbitrer un problème rationnel et non idéologique, idéalement quand son intérêt et/ou sécurité sont engagées.
Il fera alors des choix très rationnels, basés sur un savoir objectif, tenant compte de la situation et si il a des lacunes, ils peut les analyser de lui même froidement.
Pour qu'un humain dise ou fasse n'importe quoi, il faut un contexte (religieux, idéologique, égotique, manipulation, à priori, etc...)
Les llms eux, peuvent raconter n'importe quoi et il n'y a aucune distinction de nature entre le vrai et le faux.
Ce sont juste des statistiques.
J'en doute (en tout cas dans l'idée de rendre les IA autonomes).
Imaginons que tu ais le meilleur modèle qui commet une erreur 5% du temps et le moins bon (tout en bas des classements à la mode), qui en fait 15% du temps.
Le meilleur modèle est il pour autant réellement plus utilisable dans le vrai monde quand il s'agit de prendre des décisions qui ont un impact financer et sur la vie de vrai personnes ?
Cela sera t'il si différent si ça tombait à 1% ? Et puis, si par malheurs il tombe sur des problèmes nouveaux et imprévus, les 1% théoriques peuvent vite devenir 30% réels.
Tu le dis toi même, repérer ses propres erreur est un truc sur lequel les llms ont beaucoup de mal.
Un début de résolution (très imparfait par ailleurs) passe par la mise en place d'agents qui contrôlent et valident les sorties avec des instructions spécifique pour ça.
Mais sinon je n'ai jamais vu un llm dire de lui même "au fait excuse moi mais je me suis trompé dans mon message précédent".
Pour que ça arrive, il faut lui indiquer l'erreur (via la sortie d'un interpréteur, la réponse d'un appel de fonction ou une remarque humaine).
Bref, il faut les guider, et donc il faut toujours une sorte d'oracle pour valider les résultats (d’où l'idée des agents centrés sur la génération de code Python comme Smolagents de Huggingface, le système de validation étant l'interpréteur) conjugué à une passe récursive de contrôle critique du llm sur sa propre génération via des instructions spécifiques.
C'est pour ça que j'ai parlé de problème d'alignement.
Le modèle raconte peut être n'importe quoi de ton point de vu parce que c'est pas le résultat attendu, mais c'est correct dans le sens où c'est le strict reflet de ses données d'apprentissage, basés sur des transcriptions de films et d’émissions de télé et radio.
On a exactement le même problème avec les llms à qui l'on veut attribuer des propriétés émergentes alors que ça ne sont que des ajustements induits par leurs développeurs.
Si Gemma-3 et Qwen terminent toutes leurs phrases par des émoticône, c'est pas parce qu'ils sont plus joyeux que les autres.
N'as tu pas dû toi même guider Claude ?
Donc tu as fais à la main ce qu'un logiciel serait amené à faire pour tenter de rendre Claude autonome.
Peut être ais je des failles dans mon raisonnement, mais je n'ai pas l'idée d'un seul domaine du monde réél où on prendrait un llm à qui on demanderait de rendre des services en totale autonomie sans que ça ne tourne rapidement en rond (dans le meilleur des cas), ou en hors sujet (plus probablement).
Ce sont de formidables outils, mais en dehors d'être des agents conversationnels, je reste sceptique quant à leur capacité à être réellement autonomes par eux même.