En général l'examen des données se fait à la mimine.
On affiche de jolis graphiques (c'est plus efficace pour l'esprit que des tableaux) et on se paluche les hypothèses. Cela ne permet que de détecter les choses « évidentes ». Ce qui reste est bien souvent tellement marginal par rapport aux autres pistes de progrès (améliorer la com, améliorer le processus d'achat, etc) qu'il est parfaitement inutile de se pencher dessus.
Une hypothèse telle que « certains produits sont achetés en fonction de l'achat de certains autres » ne peut se faire manuellement (sauf gros cas évident qui n'a pas besoin de l'ordinateur). Dans ce cas il faut faire des statistiques sur les tickets de caisse comme tu le décris.
Un gros hypermarché a moins de 200000 références actives dans la base de données (exploitation sur une année). Ça fait 40 milliards de combinaisons si on se limite à l'analyse des produits 2 par 2. La table et les index résultants doivent faire dans les 1 Tio au total. Cela ne me semble pas démesuré pour du bon gros brassage de données.
Si le calcul doit être fait régulièrement il faut optimiser avec un stockage de l'information fait sur mesure (chaque emplacement est calculé et la donnée est écrite directement sur le disque, et non recherché par un SGBD).
# 150000 références
Posté par Kerro . En réponse au message Le problème des bières et des couches en data mining. Évalué à 3.
En général l'examen des données se fait à la mimine.
On affiche de jolis graphiques (c'est plus efficace pour l'esprit que des tableaux) et on se paluche les hypothèses. Cela ne permet que de détecter les choses « évidentes ». Ce qui reste est bien souvent tellement marginal par rapport aux autres pistes de progrès (améliorer la com, améliorer le processus d'achat, etc) qu'il est parfaitement inutile de se pencher dessus.
Une hypothèse telle que « certains produits sont achetés en fonction de l'achat de certains autres » ne peut se faire manuellement (sauf gros cas évident qui n'a pas besoin de l'ordinateur). Dans ce cas il faut faire des statistiques sur les tickets de caisse comme tu le décris.
Un gros hypermarché a moins de 200000 références actives dans la base de données (exploitation sur une année). Ça fait 40 milliards de combinaisons si on se limite à l'analyse des produits 2 par 2. La table et les index résultants doivent faire dans les 1 Tio au total. Cela ne me semble pas démesuré pour du bon gros brassage de données.
Si le calcul doit être fait régulièrement il faut optimiser avec un stockage de l'information fait sur mesure (chaque emplacement est calculé et la donnée est écrite directement sur le disque, et non recherché par un SGBD).