Il n'y a pas que la puissance de calcul, la quantité de données a explosé aussi (on pouvait pas mettre tout github, tout wikipedia ou tout flicker dans un algo d'apprentissage il y a 20 ans). Il y a quand même eu quelques innovations comme les transformers au niveau architecture des réseaux de neurones. Les techniques convolutionnelles existaient déjà mais pas à la même échelle. Après oui on a clairement changé d'échelle et ça a changé des choses, ça permet des transitions de phases dans la qualité des sorties qui étaient inaccessibles avant : https://arxiv.org/pdf/2402.16991.pdf par exemple, en tout cas à cette échelle et pour cette quantité de problèmes.
Dire que les choses n'ont pas tant changées que ça depuis 20 ans est rien que de ce point de vue très très exagéré pour le moins. On a pas fini d'explorer ce que ça permet et les diverses combinaisons que ça permet, genre la génération de vidéos de cette qualité à partir de prompt textuels c'était clairement de la SF à l'époque, et c'est tout nouveau. Ça ouvre des combinaisons qu'on a pas encore fini d'explorer, comment on va faire cohabiter / travailler ensemble les réseaux de neurones avec les systèmes à raisonnement symbolique par exemple ? On sait que les réseaux de neurones peuvent être assez bon pour jouer aux échecs ou à des jeux combinatoires, qu'est-ce que ce sera quand on va leur apprendre à démontrer des théorèmes en essayant des trucs avec un prouveur qui leur dira "ça passe" ou "ça passe pas" ? Comment ça va se passer quand on va leur permettre d'évoluer dans un monde, cf. le dossier de ce numéro de PLS : https://www.pourlascience.fr/sd/informatique/pour-la-science-n557-26128.php , avec les intuitions un peu hors sol qu'elles auront pu tirer de leur apprentissage pour leur donner des buts un peu plus haut niveau ? On sait pas encore forcément mais c'était pas envisageable comme travaux il y a 20 ans. Maintenant, on peux envisager sérieusement.
[^] # Re: tintamarre médiatique
Posté par thoasm . En réponse au lien IA : pourquoi les intellectuels paniquent-ils ?. Évalué à 8.
Il n'y a pas que la puissance de calcul, la quantité de données a explosé aussi (on pouvait pas mettre tout github, tout wikipedia ou tout flicker dans un algo d'apprentissage il y a 20 ans). Il y a quand même eu quelques innovations comme les transformers au niveau architecture des réseaux de neurones. Les techniques convolutionnelles existaient déjà mais pas à la même échelle. Après oui on a clairement changé d'échelle et ça a changé des choses, ça permet des transitions de phases dans la qualité des sorties qui étaient inaccessibles avant : https://arxiv.org/pdf/2402.16991.pdf par exemple, en tout cas à cette échelle et pour cette quantité de problèmes.
Dire que les choses n'ont pas tant changées que ça depuis 20 ans est rien que de ce point de vue très très exagéré pour le moins. On a pas fini d'explorer ce que ça permet et les diverses combinaisons que ça permet, genre la génération de vidéos de cette qualité à partir de prompt textuels c'était clairement de la SF à l'époque, et c'est tout nouveau. Ça ouvre des combinaisons qu'on a pas encore fini d'explorer, comment on va faire cohabiter / travailler ensemble les réseaux de neurones avec les systèmes à raisonnement symbolique par exemple ? On sait que les réseaux de neurones peuvent être assez bon pour jouer aux échecs ou à des jeux combinatoires, qu'est-ce que ce sera quand on va leur apprendre à démontrer des théorèmes en essayant des trucs avec un prouveur qui leur dira "ça passe" ou "ça passe pas" ? Comment ça va se passer quand on va leur permettre d'évoluer dans un monde, cf. le dossier de ce numéro de PLS : https://www.pourlascience.fr/sd/informatique/pour-la-science-n557-26128.php , avec les intuitions un peu hors sol qu'elles auront pu tirer de leur apprentissage pour leur donner des buts un peu plus haut niveau ? On sait pas encore forcément mais c'était pas envisageable comme travaux il y a 20 ans. Maintenant, on peux envisager sérieusement.