Bah non, l'information est cachée dans une tournure alambiquée.
Cette formulation sert justement à détecter si on a bien compris que les relations en jeu sont transitives et donc que les 2 sœurs du 1er frère sont aussi les sœurs des 2e et 3e et donc qu'il y a exactement 2 filles au total dans la fratrie. Apparemment les LLM ont du mal avec la transitivité.
C'est aussi une caractéristique de l'intelligence que de savoir dépouiller une expression compliquée de ses oripeaux pour en extraire l'information. On savait que les LLM ne sont pas intelligents, on en a juste une preuve de plus.
[^] # Re: Un peu trop en demander...
Posté par Jean-Baptiste Faure . En réponse au lien Stupidité Artificielle, ou combien de soeurs à Sally. Évalué à 4.
Cette formulation sert justement à détecter si on a bien compris que les relations en jeu sont transitives et donc que les 2 sœurs du 1er frère sont aussi les sœurs des 2e et 3e et donc qu'il y a exactement 2 filles au total dans la fratrie. Apparemment les LLM ont du mal avec la transitivité.
C'est aussi une caractéristique de l'intelligence que de savoir dépouiller une expression compliquée de ses oripeaux pour en extraire l'information. On savait que les LLM ne sont pas intelligents, on en a juste une preuve de plus.