Re: Map-Reduce

J'ai relus pas mal de fois pour comprendre.

Et je pense avoir compris les 2 seule différences :

• le map n'agit que localement (c'est tout son intérêt dans le concept du map-reduce), il ne peut faire de calcul sur l'ensemble des données et en principe ne devrait pas faire de calcul sur un sous-ensemble
• la structure de sortie est uniquement itérable on ne peux la parcourir qu'une fois sans jamais revenir en arrière

Je vois ça comme 2 limitations plus que des approches différentes, c'est pour ça que j'en parle comme d'un cas particulier, mais je présume que l'on s'est compris.

De plus, dans ta définition, le map est « inutile »

Alors quand je parle du map-reduce. Je parle du papier de google pas des fonctions que tu retrouve dans les concepts fonctionnels. C'est proche, mais non dans le cas du papier de google tu ne peux pas te passer du map. Cette opération est faite pour être distribuée et exécutés sur localement à tes données, alors que le reduce est là pour agréger tes données.

Par exemple, il existe une manière de représenter les graphes de manière inductive (ce qui vient avec un certain cout toutefois).

Je vois pas comment c'est possible :

• soit tu pré-calcule le parcourt dont tu as besoin, mais ce n'est plus un graphe. C'est une projection de ton graphe.
• soit tu encode toutes les possibilités, tu te retrouve à faire un nombre de parcourt hallucinant (tu ne peux pas sauter là où tu veux, il ne s'agit pas d'un vecteur) et ça n'a aucun intérêt pratique

Tous les contenus que j'écris ici sont sous licence CC0 (j'abandonne autant que possible mes droits d'auteur sur mes écrits)