Oui ce n'est pas facile de faire clair, mais on peut essayer.
En gros Alpha Zero utilise un réseau de neurone pour évaluer deux choses:
l'issue probable de la partie à partir d'une certaine position
les probabilités de chaque coup qui donnent le meilleur résultat
L'idée de la recherche arborescente de monte-carlo est d'explorer l'arbre des coups possibles de manière randomisée, en explorant avant tout les coups les plus probables. L'algorithme permet de progressivement raffiner les probabilités des coups. Idéalement avec un temps de calcul infini il donne un coup très bon à jouer, mais c'est beaucoup trop cher.
L'idée dans Alpha Zero c'est de faire en sorte que le réseau de neurones apprenne les probabilités qui seraient émises par la recherche arborescente de monte-carlo, et d'utiliser le réseau de neurone pour accélérer l'évaluation de la recherche de monte-carlo.
C'est un peu la poule et l'oeuf ce problème, mais du coup la façon dont ils s'en sortent c'est de considérer que la recherche arborescente de monte-carlo est un opérateur d'amélioration du réseau de neurone, et ils cherchent une version du réseau qui soit un optimum de cet opérateur d'amélioration, donc un point fixe.
Schématiquement on peut dire que si f est l'opérateur d'amélioration, et x les paramètres du réseau de neurones, ils cherchent un point tel que x = f(x). Pour faire ça ils utilisent une itération au point fixe, avec la suite x_n = f(x_{n-1}).
[^] # Re: Point fixe
Posté par Shuba . En réponse au journal Les échecs en échec. Évalué à 4.
Oui ce n'est pas facile de faire clair, mais on peut essayer.
En gros Alpha Zero utilise un réseau de neurone pour évaluer deux choses:
L'idée de la recherche arborescente de monte-carlo est d'explorer l'arbre des coups possibles de manière randomisée, en explorant avant tout les coups les plus probables. L'algorithme permet de progressivement raffiner les probabilités des coups. Idéalement avec un temps de calcul infini il donne un coup très bon à jouer, mais c'est beaucoup trop cher.
L'idée dans Alpha Zero c'est de faire en sorte que le réseau de neurones apprenne les probabilités qui seraient émises par la recherche arborescente de monte-carlo, et d'utiliser le réseau de neurone pour accélérer l'évaluation de la recherche de monte-carlo.
C'est un peu la poule et l'oeuf ce problème, mais du coup la façon dont ils s'en sortent c'est de considérer que la recherche arborescente de monte-carlo est un opérateur d'amélioration du réseau de neurone, et ils cherchent une version du réseau qui soit un optimum de cet opérateur d'amélioration, donc un point fixe.
Schématiquement on peut dire que si
fest l'opérateur d'amélioration, etxles paramètres du réseau de neurones, ils cherchent un point tel quex = f(x). Pour faire ça ils utilisent une itération au point fixe, avec la suitex_n = f(x_{n-1}).