Les liens donnés sont intéressants mais j''ai l'impression que ce sont uniquement des modèles (basés sur ceux de META) qui sont distribués sans que les jeux de données, les algorithmes et les méthodes d’entraînement ne soient communiquées.
Les méthodes d'entraînement et les algorithmes sont aussi documentés dans leur papiers respectifs, et HuggingFace publie systématiquement leur code d'entraînement.
On ne va redéfinir libre au sens du logiciel. Les quatre libertés fondamentales sont déjà énumérés ci-dessus.
Oui. Pour pouvoir utiliser, reproduire, modifier, et étudier un modèle, les données n'ont pas besoin d'être libres. De même qu'un compilateur n'a pas besoin d'être libre pour que les projets qu'il compile soient considérés comme libres.
Est-ce que si mon modèle a été entraîné avec des données sous copyright, je peux l'utiliser? Clairement le consensus actuel est "oui" sinon aucun modèle propriétaire n'existerait.
Est-ce que ça me permet de le reproduire? Et bien oui, les données de ces exemples sont téléchargeables sur leur site d'origine. Ces données ne sont pas libres, mais elles ne m'empêchent de reproduire le modèle.
Est-ce que ça me permet de le modifier? Si je veux supprimer des éléments du jeu de données, et rajouter d'autres données, je peux le faire sans aucun problème.
Est-ce que je peux l'étudier? Oui aucun problème pour faire les analyses que je souhaite sur le jeu de données.
Bref, un modèle entraîné sur des données propriétaires (mais téléchargeables gratuitement) respecte les libertés fondamentales.
[^] # Re: Any purpose
Posté par Ph Husson (site web personnel) . En réponse au journal L'OSI publie une définition de l'IA "opensource"... mais pas trop?. Évalué à 2.
Pour les jeux de données
https://en.wikipedia.org/wiki/BERT_%28language_model%29#Cost ===>
https://huggingface.co/datasets/bookcorpus/bookcorpus
https://github.com/openlm-research/open_llama ===> https://huggingface.co/datasets/tiiuae/falcon-refinedweb ; https://huggingface.co/datasets/bigcode/starcoderdata ; https://huggingface.co/datasets/togethercomputer/RedPajama-Data-1T
Et le troisième lien que je voulais mettre mais que j'ai glissé https://huggingface.co/bigscience/bloom ===> https://huggingface.co/spaces/bigscience/BigScienceCorpus
Je rajoute SmolLM2 que HuggingFace vient de sortir où les auteurs annoncent que sera public prochainement: https://www.reddit.com/r/LocalLLaMA/comments/1ggmsmo/comment/lutybsd/
Les méthodes d'entraînement et les algorithmes sont aussi documentés dans leur papiers respectifs, et HuggingFace publie systématiquement leur code d'entraînement.
Oui. Pour pouvoir utiliser, reproduire, modifier, et étudier un modèle, les données n'ont pas besoin d'être libres. De même qu'un compilateur n'a pas besoin d'être libre pour que les projets qu'il compile soient considérés comme libres.
Est-ce que si mon modèle a été entraîné avec des données sous copyright, je peux l'utiliser? Clairement le consensus actuel est "oui" sinon aucun modèle propriétaire n'existerait.
Est-ce que ça me permet de le reproduire? Et bien oui, les données de ces exemples sont téléchargeables sur leur site d'origine. Ces données ne sont pas libres, mais elles ne m'empêchent de reproduire le modèle.
Est-ce que ça me permet de le modifier? Si je veux supprimer des éléments du jeu de données, et rajouter d'autres données, je peux le faire sans aucun problème.
Est-ce que je peux l'étudier? Oui aucun problème pour faire les analyses que je souhaite sur le jeu de données.
Bref, un modèle entraîné sur des données propriétaires (mais téléchargeables gratuitement) respecte les libertés fondamentales.