Il y a eu tout de même quelques évolutions profondes qui ont changé la donne, semble t'il.
C'est l'idée que je m'en faisais aussi. Mais d'après ce que j'ai pu lire ces derniers temps, c'est pas si évident que ça. On a remplacé la bonne vieille sigmoïde comme fonction d'activation chargée de créer la non-linéarité par la fonction ReLU et ses variantes, qui ont le bon goût de ne pas trop "diluer" le gradient dans un apprentissage par rétro-propagation. Mais je n'appellerai pas ça une révolution.
Après, l'introduction des transformeurs semble tout de même avoir créé une rupture. Mais là faudrait que je me documente un peu plus pour avoir un avis crédible !
[^] # Re: Est-ce que je résume correctement ?
Posté par guiv42 . En réponse au journal Quoi penser de l'IA dans mon monde de linuxien .... Évalué à 2. Dernière modification le 09 février 2025 à 14:13.
C'est l'idée que je m'en faisais aussi. Mais d'après ce que j'ai pu lire ces derniers temps, c'est pas si évident que ça. On a remplacé la bonne vieille sigmoïde comme fonction d'activation chargée de créer la non-linéarité par la fonction ReLU et ses variantes, qui ont le bon goût de ne pas trop "diluer" le gradient dans un apprentissage par rétro-propagation. Mais je n'appellerai pas ça une révolution.
Après, l'introduction des transformeurs semble tout de même avoir créé une rupture. Mais là faudrait que je me documente un peu plus pour avoir un avis crédible !