Oui, ça coùte moins cher de retélécharger les choses que de faire un mirroir de tout l'internet.
Et même sur une "petite" forge, un crawler un peu stupide qui suit tous les liens, il va scanner tout l'historique git du projet si c'est accessible via une interface web, et probablement dans tous les formats possibnes (log, diff, blame, en html, en texte, ...). Ça fa?t assez vite un gros volume de données, Multipilié par quelques dizaines d'entreprises qui entraìnent des modèles, chacune travaillant probablementsur plusieurs modèles différents en parallèle, ça fait un très gros volume.
[^] # Re: Je comprends pas
Posté par pulkomandy (site web personnel, Mastodon) . En réponse au lien Le site de curl désormais à 1,6 Go/minute de trafic à cause des crawlers pour LLMs. Évalué à 10.
Oui, ça coùte moins cher de retélécharger les choses que de faire un mirroir de tout l'internet.
Et même sur une "petite" forge, un crawler un peu stupide qui suit tous les liens, il va scanner tout l'historique git du projet si c'est accessible via une interface web, et probablement dans tous les formats possibnes (log, diff, blame, en html, en texte, ...). Ça fa?t assez vite un gros volume de données, Multipilié par quelques dizaines d'entreprises qui entraìnent des modèles, chacune travaillant probablementsur plusieurs modèles différents en parallèle, ça fait un très gros volume.