C'est toujours marrant tout ce que les gens peuvent projeter sur tes opinions ou sur toi dés que tu tiens un discours critique.
Je suis plutôt curieux du sujet. Je suis sceptique sur le fait qu'en l'état actuel ça révolutionne réellement tant de truc que ça, et en particulier je m'intéresse pas mal aux limites du truc. Par exemple je suis assez curieux de savoir si on peut les faire raisonner, et la réponse des experts jusqu'à présent c'est plutôt "non, les LLM ne raisonnent pas vraiment et sont difficilement capable d'extrapoler sur des trucs qui sont pas présents en masse dans leur corpus", éventuellement "hors ligne" avec pas mal d'efforts on peut arriver à faire quelques trucs intéressants. On leur fait faire des maths mais c'est pas les modèles bruts, faut les intégrer dans des algos plus sophistiqués et faut les spécialiser.
Pour l'instant c'est plutôt difficile de leur faire tenir un raisonnement correct dans la durée : https://x.com/rao2z/status/1827778006972248123 Alors oui, il y a une marge de progression et les gens essayent de bien comprendre les capacités. Mais de ce que j'ai vu, et à mon avis, les LLMs sont intéressants pour ce type d'applis parce qu'ils sont capables d'extraire du "sens commun" et de guider un raisonnement, mais le vrai raisonnement devra être fait par des méthodes et des techniques algorithmiques plus traditionnels. Ils pourront peut être se servir des LLM comme "oracle" pour savoir par ou commencer, heuristiques, quand il y a plusieurs possibilité.
Également, le texte est un pâle reflet du monde et leur corpus est à la ramasse, faut leur réinjecter des nouvelles données. Et sur les modèles d'images, la correspondance riche entre le texte et les images, le raisonnement spatial, est compliqué si leur profondeur de raisonnement propre est limitée (ils sont capables de choper des éléments, mais pour tout combiner correctement et faire des trucs complexe il me semble qu'il faut rajouter du raisonnement).
Bref ... "intelligence" est un terme qui veut dire bien des choses, mais sans raisonnement il me semble qu'on manque d'un ingrédient essentiel. Et leur rajouter ne viendra pas forcément gratuitement et facilement.
(pour contexte, le twit que j'ai lié, je le tiens d'un repost de Yan Le Cun, le chef de l'IA de facebook et aussi un pionnier)
[^] # Re: Wow
Posté par thoasm . En réponse au lien Microsoft’s Copilot falsely accuses court reporter of crimes he covered - OSnews. Évalué à 2. Dernière modification le 26 août 2024 à 15:30.
C'est toujours marrant tout ce que les gens peuvent projeter sur tes opinions ou sur toi dés que tu tiens un discours critique.
Je suis plutôt curieux du sujet. Je suis sceptique sur le fait qu'en l'état actuel ça révolutionne réellement tant de truc que ça, et en particulier je m'intéresse pas mal aux limites du truc. Par exemple je suis assez curieux de savoir si on peut les faire raisonner, et la réponse des experts jusqu'à présent c'est plutôt "non, les LLM ne raisonnent pas vraiment et sont difficilement capable d'extrapoler sur des trucs qui sont pas présents en masse dans leur corpus", éventuellement "hors ligne" avec pas mal d'efforts on peut arriver à faire quelques trucs intéressants. On leur fait faire des maths mais c'est pas les modèles bruts, faut les intégrer dans des algos plus sophistiqués et faut les spécialiser.
Pour l'instant c'est plutôt difficile de leur faire tenir un raisonnement correct dans la durée : https://x.com/rao2z/status/1827778006972248123 Alors oui, il y a une marge de progression et les gens essayent de bien comprendre les capacités. Mais de ce que j'ai vu, et à mon avis, les LLMs sont intéressants pour ce type d'applis parce qu'ils sont capables d'extraire du "sens commun" et de guider un raisonnement, mais le vrai raisonnement devra être fait par des méthodes et des techniques algorithmiques plus traditionnels. Ils pourront peut être se servir des LLM comme "oracle" pour savoir par ou commencer, heuristiques, quand il y a plusieurs possibilité.
Également, le texte est un pâle reflet du monde et leur corpus est à la ramasse, faut leur réinjecter des nouvelles données. Et sur les modèles d'images, la correspondance riche entre le texte et les images, le raisonnement spatial, est compliqué si leur profondeur de raisonnement propre est limitée (ils sont capables de choper des éléments, mais pour tout combiner correctement et faire des trucs complexe il me semble qu'il faut rajouter du raisonnement).
Bref ... "intelligence" est un terme qui veut dire bien des choses, mais sans raisonnement il me semble qu'on manque d'un ingrédient essentiel. Et leur rajouter ne viendra pas forcément gratuitement et facilement.
(pour contexte, le twit que j'ai lié, je le tiens d'un repost de Yan Le Cun, le chef de l'IA de facebook et aussi un pionnier)