C'est clairement un des paradoxes actuels du deep-learning : les modèles ont parfois plus d'hyper-paramètres que le nombre d'exemples fournis et pourtant ils semblent bien généraliser (mais ont du coup aussi des grosses faiblesses comme l'on montré les attaques adverses récentes, exemple Fooling Image Recognition with Adversarial Examples (youtube)).
Il y a donc pas mal de boulot théorique si on veut bien comprendre et maîtriser le phénomène. Ceci dit on peut penser que les contraintes mises sur le réseau (Batch Normalisation et d'autres contraintes) permettent de se contraindre à nouveau sur un espace de solutions limité (évitant la sur-interprétation).
[^] # Re: Et l'apprentissage automatique?
Posté par Alex G. . En réponse au journal "Intelligence artificielle", vraiment?. Évalué à 5.
C'est clairement un des paradoxes actuels du deep-learning : les modèles ont parfois plus d'hyper-paramètres que le nombre d'exemples fournis et pourtant ils semblent bien généraliser (mais ont du coup aussi des grosses faiblesses comme l'on montré les attaques adverses récentes, exemple Fooling Image Recognition with Adversarial Examples (youtube)).
Il y a donc pas mal de boulot théorique si on veut bien comprendre et maîtriser le phénomène. Ceci dit on peut penser que les contraintes mises sur le réseau (Batch Normalisation et d'autres contraintes) permettent de se contraindre à nouveau sur un espace de solutions limité (évitant la sur-interprétation).