Pourtant, Google se restreint dans ce qu'il indexe, et accepte qu'on le restreigne (à la discrétion des administrateurs de sites), puisqu'il existe robots.txt. Et je ne pense pas que robots.txt a été créé uniquement pour des raisons techniques (par exemple empêcher un robot de parcourir une liste sans fin de pages, ce qui augmenterait la charge serveur), car il est possible de spécifier des règles différentes selon les robots.
[^] # Re: Vie privée
Posté par BFG . En réponse au journal YouHaveDownloaded. Évalué à 4.
Pourtant, Google se restreint dans ce qu'il indexe, et accepte qu'on le restreigne (à la discrétion des administrateurs de sites), puisqu'il existe
robots.txt. Et je ne pense pas querobots.txta été créé uniquement pour des raisons techniques (par exemple empêcher un robot de parcourir une liste sans fin de pages, ce qui augmenterait la charge serveur), car il est possible de spécifier des règles différentes selon les robots.