• [^] # Re: Ce n'est pas la taille qui compte

    Posté par . En réponse au lien Que sont les « TRM » ? Après les LLM, comprendre la future révolution de l’IA . Évalué à 4.

    Ce n'est pas ce qui est dit dans l'article.
    D'une part, la chercheuse remet en cause le fait que les LLM puissent espérer atteindre l'AGI (principalement au motif que) :

    La courbe de progression des modèles ne croît que logarithmiquement en fonction du temps et des avancées technologiques ; les rendements sont décroissants.

    Elle rappelle que c'est aussi l'avis de Yann Le Cun.

    D'autre part, les TRM ne sont pas conceptuellement spécialisés, mais cela semble plus efficace :

    Est-ce qu’on retourne vers ce monde de modèles spécialisés par tâche ou d’architectures spécialisées pour différents types de tâches ?

    Il y a un équilibre à trouver entre les deux.

    Avec les LLM, on a trop penché vers une seule direction parce que le paradigme précédent était celui de la spécialisation [...]