C’est complètement con. Les LLM ne peuvent exister sans la rapacité américaine.
C'est un peu péremptoire. De nombreux LLM, tant open-source, open-weight (et peut être proprio), existent sans pré-entrainement sur des données volées, ni sur un volume aussi conséquent que les ténors pour arriver à une performance à peine moindre.
C'est d'ailleurs un sujet intéressant : on voit des benchmarks qui tiennent compte du nombre de paramètres des modèles, de la taille de leur mémoire de travail, etc. mais à ma connaissance aucun sur le volume de données d'entrainement.
Rien que l’origine théorique de tout ça vient de chez Google.
Oui, grâce à la recherche (le "jus de cerveau") sans dépenser des milliards pour cela.
Quant au modèle de la Chine, Lordon indique bien les limites du modèle :
On en voit aussi les inconvénients : l’entropie n’y prend pas la forme bulle-krach comme chez l’autre, mais la forme copinage-réseautage-corruption — de plus en plus marquée [...]
et tout le paragraphe suivant.
Si c’est eux les modèles, on est pas sorti. [...] je suis pas sûr de la pertinence de ceux-ci.
Lordon rappelle bien que les deux modèles ne sont pas parfaits et ne sont pas les seuls. La pertinence de l'exemple, c'est juste qu'il est réel. Il aurait été beaucoup moins évident de démonter l'argumentation d'Arthur Mensch avec un modèle économique théorique plus vertueux ... mais qui n'existe pas !
[^] # Re: TL;DR de ce texte savoureux, équilibré, mais pas exactement concis.
Posté par 42nodid . En réponse au lien Innover sans les « marchés », ou l’IA autrement - Lordon. Évalué à 4 (+3/-0).
C'est un peu péremptoire. De nombreux LLM, tant open-source, open-weight (et peut être proprio), existent sans pré-entrainement sur des données volées, ni sur un volume aussi conséquent que les ténors pour arriver à une performance à peine moindre.
C'est d'ailleurs un sujet intéressant : on voit des benchmarks qui tiennent compte du nombre de paramètres des modèles, de la taille de leur mémoire de travail, etc. mais à ma connaissance aucun sur le volume de données d'entrainement.
Oui, grâce à la recherche (le "jus de cerveau") sans dépenser des milliards pour cela.
Quant au modèle de la Chine, Lordon indique bien les limites du modèle :
et tout le paragraphe suivant.
Lordon rappelle bien que les deux modèles ne sont pas parfaits et ne sont pas les seuls. La pertinence de l'exemple, c'est juste qu'il est réel. Il aurait été beaucoup moins évident de démonter l'argumentation d'Arthur Mensch avec un modèle économique théorique plus vertueux ... mais qui n'existe pas !