• [^] # Re: la dernière de chatgpt

    Posté par (site web personnel) . En réponse au journal Mon avis sur chatGPT. Évalué à 6.

    le deuxième est résolu (le calcul est bon) mais la réponse donnée est fausse (c'est très étrange)

    En fait ça paraît étrange car en tant qu'humains ce genre de contradictions élémentaires nous pouvons l'identifier facilement. Mais comme ça a été dit, et tu le soulignes toi même, ce n'est qu'un générateur de texte, le sens logique sous-jacent de tous ses propos lui échappe entièrement. Donc il n'identifie pas de lui même ce genre de contradictions car il n'est pas câblé pour.

    J'ai l'impression que même en connaissant son objectif, comme beaucoup de monde, tu raccroches ses réponses à ce qui est produit par un humain en bout de compte et tu identifies des étrangetés qui n'en sont pas tellement. L’interaction sous forme de chat est sans doute un élément qui nous fait faire ce lien alors qu'une autre mise en forme nous feraient je pense mieux sentir ce qu'il y a derrière.

    Mais bon, de toutes manières, il est évident que chatGPT n'a jamais été conçu pour donner des réponses justes, il a été conçu pour mimer le comportement d'humains, qui justement donnent souvent des réponses fausses.

    Oui et non.

    Déjà le premier problème est que finalement son corpus et sa logique sont assez opaques. On ne peut pas à priori considérer ce qu'il dit comme un minimum fiable, il produit assez de réponses franchement fausses avec un tel aplomb qu'on devrait considérer par défaut tout ce qu'il produit comme faux. Des êtres humains que je considère ainsi par défaut, il n'y en a pas tellement. Car l'être humain s'il dit des bêtises, a quand même :

    • Des qualifications (métiers, études, passions) permettant de jauger s'il est sur un terrain qu'il maitrise plutôt bien ou pas du tout ;
    • Les humains savent dire "je ne sais pas" ou ajouter de la nuance dans le propos ou ne sa raccrochent pas à n'importe quoi à partir de la question pour inventer une suite parfois très éloignée de la réponse ;
    • Sur des tas de sujets un humain ne va jamais s'exprimer s'il n'y connaît pas grand chose (même si sur d'autres il ne va pas hésiter). Si tu demandes l'avis d'un humain moyen sur la relativité générale ou la géopolitique à l'ère Babylonienne, je doute que tu ressortes avec beaucoup de mots ;
    • Les humains inventent rarement une histoire de but en blanc avec de fausses références spontanément dans une conversation tout en faisant croire que c'est du savoir encyclopédique.

    Étonnamment pour en profiter au mieux de ses capacités, il faut connaître le sujet ou un bout de la réponse ! Alors que spontanément j'aurais plutôt confiance au contenu produit par un prof par exemple, même si je ne connais pas du tout le sujet (c'est un peu le but).

    Ces défauts ne sont pas des défauts mineurs qui seront probablement résolus en un an ou avec une version 1.0.1. C'est assez profond, et le fait qu'une IA soit un modèle entrainé et non un code conçu sur mesure rend en effet tout correctif du style bien plus difficile. Et notamment rendre cette IA capable de comprendre ce qu'il dit pour comprendre les contradictions internes de ses propos ou pour être plus proche encore de l'humain ne semble clairement pas une tâche triviale.

    Car il faut bien comprendre que pour s'exprimer aussi bien et faire des choses aussi diversifiées, il a avalé une quantité de contenus énorme qui ont elles mêmes des contradictions. Et comme il ne sait pas faire le tri lui même entre ce qui est plutôt vrai et ce qui ne l'est pas et que c'est une tâche fastidieuse de lui faire cerner des propos faux (faut couvrir une quantité de domaines et de savoir gigantesques à la main !).

    Cela reste une belle prouesse, il fait plutôt bien illusion et il s'exprime très bien. Mais bon pendant 2 mois tout le monde ne parle que de ça avec souvent une mauvaise compréhension de ce qu'il fait et de quoi il est vraiment capable et c'est dommage. Avec au passage un ramassis de clichés sur la réalité des métiers qui vont disparaître. C'est un pas en avant, mais on est encore loin de Skynet (et en un sens, c'est peut être mieux).

    Je citerais d'ailleurs une connaissance sur ce que les propos sur ChatGPT révèle de l'Humanité finalement : mais je suis convaincu qu'à terme, au lieu de créer une véritable IA, on aura un modèle de langage tellement perfectionné qu'on se persuadera que c'est une IA forte et c'est peut être un risque bien plus grand encore.