Peut-être que tu as eu de la chance d'avoir eu la bonne réponse, mais faut se méfier quand même
Qui a prétendu qu'il fallait avaler les sorties de ChatGPT comme de l'eau bénite?
Est-ce que tu ne te méfies pas quand tu trouves une réponse toute faite dans un forum?
Et donc il y a des chances que l'IA te propose un dépannage complètement à coté de la plaque
Tu évoques une sorte de risque théorique, qui est réel, mais qui ressemble à une sorte de fantasme bien éloigné des capacités des LLM modernes. Est-ce que chatGPT peut en théorie se mélanger les pinceaux entre les codes d'erreur des sèche-linge Bosch et des lave-linge Brandt? En théorie, oui, bien sûr, le fonctionnement d'un LLM ne peut pas te garantir que c'est impossible. Mais en pratique? Quelle est la chance que ça arrive? 1%? 0.1%? 0.0001%? C'est ça le problème, c'est ça d'écouter des prophètes débiles qui racontent n'importe quoi à longueur de journée, on devient un pédant théorique qui pense que tout ce qui sort d'un LLM est une hallucination potentielle, et on se repâit de quelques prompts bien travaillés qui poussent les modèles aux limites de leurs possibilités. Mais en réalité, ces trucs marchent. C'est une réalité qui ne plait pas à tout le monde, mais c'est comme ça, ça marche.
Donc voici un cas concret : je dis à chatGPT "J'ai un code E17 sur mon lave linge", il me répond: "Le code erreur E17 sur un lave-linge (selon la majorité des modèles de Bosch / Siemens et d’autres marques du même groupe) signifie généralement : ⚠️ Problème d’arrivée d’eau (l’appareil ne parvient pas à se remplir dans le délai prévu) // Si tu veux, je peux te dire précisément ce que signifie E17 pour ton modèle exact (car cela varie légèrement selon les marques) — veux-tu me donner la marque et le modèle de ton lave-linge ?"
On peut raconter ce qu'on veut avec des exemples "à peine exagérés". Oui, les LLM peuvent faire des erreurs, oui ils sont limités par la qualité de leurs données d'entrainement, oui tu peux facilement mettre en défaut un LLM dans un domaine où tu es spécialiste, mais 1) le niveau des réponses reste globalement satisfaisant dans un très grand éventail de cas, 2) je ne vois pas l'intérêt de passer sa vie à essayer de mettre en défaut les LLM, puisqu'à moins d'être payé pour les améliorer ça ne fait que confirmer ce que tout le monde sait déja, 3) il est assez évident qu'il est peu utile de demander quelque chose à un LLM quand on a déja trouvé un document adapté—par exemple les instructions du constructeur pour démonter une pièce, et encore plus si on a raison de penser que ce document est meilleur que les données d'entrainement du LLM.
De toutes manières, comme tu en fais toi-même le constat, les LLM donnent maintenant la plupart du temps des réponses meilleures que le reste des documents déja faits qu'on peut trouver sur Internet. Autrement dit, il devient difficile de remplacer un LLM par une recherche approfondie. Tu peux penser qu'il s'est passé quelque chose et que le web est maintenant vide, mais je crois que c'est faux, les informations de qualité ont toujours été rares. Pour la réparation d'appareils, typiquement, la notice officielle ne mentionne que des cas débiles, genre "la lumière ne fonctionne plus -> remplacer l'ampoule", "l'appareil ne s'allume pas -> vérifier qu'il est bien branché", "l'appareil est branché et ne s'allume pas -> contacter le service après-vente". C'est ça, l'information qu'on a toujours eu, de la m***. Pour obtenir les données techniques, il fallait contacter le fabriquant et espérer sa bonne volonté, ou bien payer pour accéder aux protocoles de réparation destinés aux professionnels. Bref, je ne crois pas du tout au monde idyllique d'avant les LLM où il était facile de trouver des informations de qualité sur n'importe quel sujet, je crois que c'est un monde fantasmé.
(dans tous les cas, ça ne change pas que de remplir le web avec des sorties de LLM c'est débilissime, c'est aussi con que de remplir des pages automatiquement avec le résultat de requêtes Google).
[^] # Re: Je me demande
Posté par arnaudus . En réponse au journal npm et badaboum. Évalué à 1.
Qui a prétendu qu'il fallait avaler les sorties de ChatGPT comme de l'eau bénite?
Est-ce que tu ne te méfies pas quand tu trouves une réponse toute faite dans un forum?
Tu évoques une sorte de risque théorique, qui est réel, mais qui ressemble à une sorte de fantasme bien éloigné des capacités des LLM modernes. Est-ce que chatGPT peut en théorie se mélanger les pinceaux entre les codes d'erreur des sèche-linge Bosch et des lave-linge Brandt? En théorie, oui, bien sûr, le fonctionnement d'un LLM ne peut pas te garantir que c'est impossible. Mais en pratique? Quelle est la chance que ça arrive? 1%? 0.1%? 0.0001%? C'est ça le problème, c'est ça d'écouter des prophètes débiles qui racontent n'importe quoi à longueur de journée, on devient un pédant théorique qui pense que tout ce qui sort d'un LLM est une hallucination potentielle, et on se repâit de quelques prompts bien travaillés qui poussent les modèles aux limites de leurs possibilités. Mais en réalité, ces trucs marchent. C'est une réalité qui ne plait pas à tout le monde, mais c'est comme ça, ça marche.
Donc voici un cas concret : je dis à chatGPT "J'ai un code E17 sur mon lave linge", il me répond: "Le code erreur E17 sur un lave-linge (selon la majorité des modèles de Bosch / Siemens et d’autres marques du même groupe) signifie généralement : ⚠️ Problème d’arrivée d’eau (l’appareil ne parvient pas à se remplir dans le délai prévu) // Si tu veux, je peux te dire précisément ce que signifie E17 pour ton modèle exact (car cela varie légèrement selon les marques) — veux-tu me donner la marque et le modèle de ton lave-linge ?"
On peut raconter ce qu'on veut avec des exemples "à peine exagérés". Oui, les LLM peuvent faire des erreurs, oui ils sont limités par la qualité de leurs données d'entrainement, oui tu peux facilement mettre en défaut un LLM dans un domaine où tu es spécialiste, mais 1) le niveau des réponses reste globalement satisfaisant dans un très grand éventail de cas, 2) je ne vois pas l'intérêt de passer sa vie à essayer de mettre en défaut les LLM, puisqu'à moins d'être payé pour les améliorer ça ne fait que confirmer ce que tout le monde sait déja, 3) il est assez évident qu'il est peu utile de demander quelque chose à un LLM quand on a déja trouvé un document adapté—par exemple les instructions du constructeur pour démonter une pièce, et encore plus si on a raison de penser que ce document est meilleur que les données d'entrainement du LLM.
De toutes manières, comme tu en fais toi-même le constat, les LLM donnent maintenant la plupart du temps des réponses meilleures que le reste des documents déja faits qu'on peut trouver sur Internet. Autrement dit, il devient difficile de remplacer un LLM par une recherche approfondie. Tu peux penser qu'il s'est passé quelque chose et que le web est maintenant vide, mais je crois que c'est faux, les informations de qualité ont toujours été rares. Pour la réparation d'appareils, typiquement, la notice officielle ne mentionne que des cas débiles, genre "la lumière ne fonctionne plus -> remplacer l'ampoule", "l'appareil ne s'allume pas -> vérifier qu'il est bien branché", "l'appareil est branché et ne s'allume pas -> contacter le service après-vente". C'est ça, l'information qu'on a toujours eu, de la m***. Pour obtenir les données techniques, il fallait contacter le fabriquant et espérer sa bonne volonté, ou bien payer pour accéder aux protocoles de réparation destinés aux professionnels. Bref, je ne crois pas du tout au monde idyllique d'avant les LLM où il était facile de trouver des informations de qualité sur n'importe quel sujet, je crois que c'est un monde fantasmé.
(dans tous les cas, ça ne change pas que de remplir le web avec des sorties de LLM c'est débilissime, c'est aussi con que de remplir des pages automatiquement avec le résultat de requêtes Google).