URL: https://linuxfr.org/users/nud/journaux/votre-code-dans-un-modele-d-ia Title: Votre code dans un modèle d'IA Authors: nud Date: 2024年03月20日T22:46:04+01:00 License: CC By-SA Tags: Score: 18 Chers développeurs et autres utilisateurs de logiciel libre, [Hugging Face](https://fr.wikipedia.org/wiki/Hugging_Face) est une société américaine qui fait de l'intelligence artificielle, créée par des Français (ce qui est courant avec l'IA). La société a publié récemment un _dataset_ appelé ["The Stack v2"](https://huggingface.co/datasets/bigcode/the-stack-v2), qui contient environ 67 téraoctets de code source provenant de [Software Heritage](https://www.softwareheritage.org/) et GitHub:> 3.28 milliards de fichiers uniques faisant partie de 104.2 millions de repositories github ont été collectés en parcourant le graphe du _dataset_ de Software Heritage daté du 6 septembre 2023. Des métadonnées au niveau des repos ont été collectées depuis des données de [GitHub Archive](https://www.gharchive.org/) jusqu'au 14 septembre 2023. La taille non compressée de tous les fichiers est de 67.53 téraoctets. Le _dataset_ semble avoir une vocation de recherche, conduite dans l'esprit de l'open-source, et centrée sur le développement responsable de LLM (grands modèles de langage) pour le code. Je ne sais pas ce que "responsable" veut dire dans un contexte pareil 🤷. Chose amusante, ils indiquent que le _dataset_ peut contenir des informations sensibles telles que des e-mails, addresse IP, clefs SSH ou API qui ont été précédemment publiées dans des repos github, et d'autre part ils reportent sur les utilisateurs l'obligation de respecter les termes des licences originales, clauses d'attribution incluses (la provenance étant disponible pour chaque point de données) Je laisse le soin au lecteur intéressé de se documenter plus via [la page qui documente le modèle](https://huggingface.co/datasets/bigcode/the-stack-v2). Vous pouvez vérifier si vos repositories sont inclus dans le modèle [via la page fournie à cet effet](https://huggingface.co/spaces/bigcode/in-the-stack), et dans sa grande mansuétude, Hugging Face vous permet de mendier le retrait de vos repositories en ouvrant une _issue_ comme décrit sur cette page. Encore une société qui ferait bien d'apprendre que **opt-out is not consent**... Certains repositories de linuxfr.org sont inclus mais pas tous, par exemple. [Certains disent que des repos supprimés ou privés sont inclus dans le modèle](https://post.lurk.org/@emenel/112111014479288871), donc ça peut quand même valoir la peine de jeter un œil. Ça implique probablement aussi que Software Heritage en a une copie. Ça soulève une foule de question mais je vais vous laisser les poser vous-même. Qu'en pensez-vous ? * [Présentation du modèle "The Stack v2"](https://huggingface.co/datasets/bigcode/the-stack-v2) * [Am I in The Stack?](https://huggingface.co/spaces/bigcode/in-the-stack)