Peut-être que je surinterprète de façon trop anthropomorphique
Oui. Totalement. D’ailleurs il y a une très très grosse différence entre l’exemple qu’il donne en introduction de son billet et les données réelles telles qu’il explique le papier : les données au départ sont irrégulières et sont plutôt le fait d’un modèle signal + bruit (ou du moins un signal parasite, quelqu’il soit), tandis que les donées ensuite son d’une précision absolue (issue d’un algorithme déterministe).
Je n’ai pas encore creusé le papier (si seulement j’avais le temps...), mais réaliser la même opération avec un signal bruité ne sera probablement pas si facile, en particulier il faudra possiblement paramétrer le réseau en fonction d’une estimation du bruit, car je ne serai pas surpris que les effets du surapprentissage ne soient renforcés par le bruit (tout comme dans la "vraie" vie le bruit dans un signal réduit la possibilité d’en extraire la régularité).
Les auteurs ont donc "choisis" la situation qui leur soit la plus favorable : un signal parfaitement régulier, qui autorise le réseau à se caler dessus sans être perturbé par un signal parasite. C’est la visualisation en composante principale qui permet de le comprendre : le truc c’est qu’avec un signal intrinsèquement bruité, quelque soient les itérations, on ne décollera pas de la vignette 15 (du billet).
# ...
Posté par greendev . En réponse au lien "Grokking" : les modèles d'IA sont-ils capables de piger ?. Évalué à -2. Dernière modification le 11 septembre 2023 à 19:37.
Oui. Totalement. D’ailleurs il y a une très très grosse différence entre l’exemple qu’il donne en introduction de son billet et les données réelles telles qu’il explique le papier : les données au départ sont irrégulières et sont plutôt le fait d’un modèle signal + bruit (ou du moins un signal parasite, quelqu’il soit), tandis que les donées ensuite son d’une précision absolue (issue d’un algorithme déterministe).
Je n’ai pas encore creusé le papier (si seulement j’avais le temps...), mais réaliser la même opération avec un signal bruité ne sera probablement pas si facile, en particulier il faudra possiblement paramétrer le réseau en fonction d’une estimation du bruit, car je ne serai pas surpris que les effets du surapprentissage ne soient renforcés par le bruit (tout comme dans la "vraie" vie le bruit dans un signal réduit la possibilité d’en extraire la régularité).
Les auteurs ont donc "choisis" la situation qui leur soit la plus favorable : un signal parfaitement régulier, qui autorise le réseau à se caler dessus sans être perturbé par un signal parasite. C’est la visualisation en composante principale qui permet de le comprendre : le truc c’est qu’avec un signal intrinsèquement bruité, quelque soient les itérations, on ne décollera pas de la vignette 15 (du billet).