Tu serais surpris de ce qui peut sortir même de chez Google. D'accord, le crawler de Google Search est probablement bon. Mais il y a deux ans, SourceHut a dû menacer de blacklister les serveurs de Google qui maintiennent le cache des paquets Go, parce que ces serveurs mettaient SourceHut sous un quasi-DDoS en faisant des git clone complets (alors qu'il n'en avaient pas besoin), indépendamment sans se coordonner entre eux. Apparemment le même dépôt pouvait se retrouver cloné 2000 fois par jour !
[^] # Re: vibe coding
Posté par jeanas (site web personnel, Mastodon) . En réponse au lien Le site de curl désormais à 1,6 Go/minute de trafic à cause des crawlers pour LLMs. Évalué à 6. Dernière modification le 28 mars 2025 à 16:29.
Tu serais surpris de ce qui peut sortir même de chez Google. D'accord, le crawler de Google Search est probablement bon. Mais il y a deux ans, SourceHut a dû menacer de blacklister les serveurs de Google qui maintiennent le cache des paquets Go, parce que ces serveurs mettaient SourceHut sous un quasi-DDoS en faisant des
git clonecomplets (alors qu'il n'en avaient pas besoin), indépendamment sans se coordonner entre eux. Apparemment le même dépôt pouvait se retrouver cloné 2000 fois par jour !