Et bien pour prendre un exemple simple de modèle statistique on sait que la distribution du nombre d'habitants des villes dans un pays suit essentiellement une distribution de Pareto ce qui concrètement signifie qu'on peut trouver deux paramètres (la moyenne x_m et le poids des petites contribution \alpha) pour que l'histogramme de la distribution des populations ressemble beaucoup à une de ces courbes:
Exemples de distribution de Pareto.
(Ressemble beaucoup cela veut dire mathématiquement que l'intégrale de la différence carrée des deux fonctions correspondantes est très petite – ou en moins terre à terre, que la distance hilbertienne entre ces deux fonctions est petite.)
Contrairement à ce qui se passe dans le cas des réseaux de neurones on a peu de paramètres dans le modèle et on sait leur donner un sens: l'un est la taille moyenne et l'autre quantifie la contribution des très petites communes dans la distribution: pour un démographe c'est aussi un nombre intéressant à suivre dans le temps, on peut s'en servir pour faire de l'analyse qualitative et quand on se pose des questions qui font intervenir cette distribution, on sait quels sont les paramètres intéressants à utiliser pour fabriquer une valeur approchée, etc.
Si on sort de cette exemple peut-être un peu "scolaire" même si je trouve qu'il illustre bien la problématique on peut voir des livres plus pointus sur la modélisation, par exemple en modèles financiers The SABR/LIBOR Market Model: Pricing, Calibration and Hedging for Complex Interest-Rate Derivatives de Rebonato, McKay et White, une part significative du livre est consacrée justement à comparer les modèles possibles entre eux et à discuter si on peut interpréter les paramètres de ces modèles dans la situation qu'ils prétendent décrire.
Dans le cas d'un réseau de neurones on se retrouve dans une situation bien différente parceque presque par définition on travaille avec un plus grand nombre de paramètres: au lieu de faire une analyse a priori très poussée du système étudié et de la construction d'un modèle pour ensuite déterminer ces paramètres on paramètre un espace de modèles et on cherche le bon modèle dedans.
Ceci dit la comparaison entre ces deux situations est très limitée car les champs d'application de ces deux outils sont assez différents.
[^] # Re: Et l'apprentissage automatique?
Posté par Michaël (site web personnel) . En réponse au journal "Intelligence artificielle", vraiment?. Évalué à 6.
Et bien pour prendre un exemple simple de modèle statistique on sait que la distribution du nombre d'habitants des villes dans un pays suit essentiellement une distribution de Pareto ce qui concrètement signifie qu'on peut trouver deux paramètres (la moyenne x_m et le poids des petites contribution \alpha) pour que l'histogramme de la distribution des populations ressemble beaucoup à une de ces courbes:
Exemples de distribution de Pareto.
(Ressemble beaucoup cela veut dire mathématiquement que l'intégrale de la différence carrée des deux fonctions correspondantes est très petite – ou en moins terre à terre, que la distance hilbertienne entre ces deux fonctions est petite.)
Contrairement à ce qui se passe dans le cas des réseaux de neurones on a peu de paramètres dans le modèle et on sait leur donner un sens: l'un est la taille moyenne et l'autre quantifie la contribution des très petites communes dans la distribution: pour un démographe c'est aussi un nombre intéressant à suivre dans le temps, on peut s'en servir pour faire de l'analyse qualitative et quand on se pose des questions qui font intervenir cette distribution, on sait quels sont les paramètres intéressants à utiliser pour fabriquer une valeur approchée, etc.
Si on sort de cette exemple peut-être un peu "scolaire" même si je trouve qu'il illustre bien la problématique on peut voir des livres plus pointus sur la modélisation, par exemple en modèles financiers The SABR/LIBOR Market Model: Pricing, Calibration and Hedging for Complex Interest-Rate Derivatives de Rebonato, McKay et White, une part significative du livre est consacrée justement à comparer les modèles possibles entre eux et à discuter si on peut interpréter les paramètres de ces modèles dans la situation qu'ils prétendent décrire.
Dans le cas d'un réseau de neurones on se retrouve dans une situation bien différente parceque presque par définition on travaille avec un plus grand nombre de paramètres: au lieu de faire une analyse a priori très poussée du système étudié et de la construction d'un modèle pour ensuite déterminer ces paramètres on paramètre un espace de modèles et on cherche le bon modèle dedans.
Ceci dit la comparaison entre ces deux situations est très limitée car les champs d'application de ces deux outils sont assez différents.