Exactement : Il faut trouver un vecteur (a1,...an,b) tel que pour chaque vecteur (x1,x2,..,xn), le produit (a1*x1 + ... + an*xn + b) soit plus grand que 1 ou plus petit que -1, ce qui s'interprete géométriquement comme la distance entre X et ton plan de séparation.
En augmentant d'une dimension, avec pour coordonnée 1 le vecteur X, et en prenant les coords du plan noté sous la forme du vecteur A (a1,...,an,b), et quitte à changer des signes, il suffit d'avoir
A.X >= 1 pour tout vecteur X. Avec m points, on a une famille de Xi (1<i<m) qui forme m contraintes
et là, on optimize la fonction de la mort l1*A*X1 + ... + lm*A*Xm (où l1,..lm sont les multiplicateurs de Lagrange).
Et la magie, c'est que les multiplicateurs de Lagrange sont non nuls si et seulement si le point réalise la limite de la contrainte.
Donc, il y a un moyen mathématique connu (et simple ?) de trouver les points qui réalisent la limite.
Par contre, je ne vois pas le rapport avec la gaussianité des problèmes. Le but est de réduire une population d'échantillons bien triés aux cas limite pour avoir un apprentissage (statistique) qui n'explose pas avec le nombre de samples. Typiquement, pour les points du plans, s'ils sont bien séparables, tu passes de n points à 3 ou 4 points. Au maximum 10.
Si le problème n'est pas gaussien dans la dimension où tu le regardes, peut être qu'il l'est en dimension supérieure, ou avec un noyau plus astucieux que les polynômes.
[^] # Re: Algorithme génétique ?
Posté par mpstarix . En réponse à la dépêche Améliorer les performances du noyau avec un algorithme génétique. Évalué à 2.
En augmentant d'une dimension, avec pour coordonnée 1 le vecteur X, et en prenant les coords du plan noté sous la forme du vecteur A (a1,...,an,b), et quitte à changer des signes, il suffit d'avoir
A.X >= 1 pour tout vecteur X. Avec m points, on a une famille de Xi (1<i<m) qui forme m contraintes
et là, on optimize la fonction de la mort l1*A*X1 + ... + lm*A*Xm (où l1,..lm sont les multiplicateurs de Lagrange).
Et la magie, c'est que les multiplicateurs de Lagrange sont non nuls si et seulement si le point réalise la limite de la contrainte.
Donc, il y a un moyen mathématique connu (et simple ?) de trouver les points qui réalisent la limite.
Par contre, je ne vois pas le rapport avec la gaussianité des problèmes. Le but est de réduire une population d'échantillons bien triés aux cas limite pour avoir un apprentissage (statistique) qui n'explose pas avec le nombre de samples. Typiquement, pour les points du plans, s'ils sont bien séparables, tu passes de n points à 3 ou 4 points. Au maximum 10.
Si le problème n'est pas gaussien dans la dimension où tu le regardes, peut être qu'il l'est en dimension supérieure, ou avec un noyau plus astucieux que les polynômes.