De ce que j'ai compris, les données sont filtrés mais à minima. Par exemple, ChatGPT utilisé un jeu de données dérivé de CommonCrawl et filtré à minima pour la qualité, (cf une ref WP).
Et il faut énormément de données pour entraîner l'IA. Ce papier de 2022 donne la taille de MassiveText, avec ~10 T de texte sachant que sur les 10T, wikipedia an en anglais fait quelques gigas (pour donner un ordre de grandeur). Le papier estime qu'il y a grosso modo 1012 mots dans des jeux de données hautes qualités (donc 1000 milliards de mots, donc à vue de nez, 10 millions de livres, c'est l'ordre de nombre de documents à la BNF).
Et ça, c'est pour les données "hautes qualités". Si tu rajoutes les données basse qualités, ça va de 100 fois plus pour un acteur avec des thunes comme Google à 1000 fois plus si tu combines tout les acteurs, et 10 000 fois plus si tout le monde sur la planète se mets à produire des données sur plusieurs années (partie IV A de l'article).
Donc il est fort possible que le filtrage ne soit pas économiquement possible dans l'état des ressources actuelles, que ça soit humain ou machine.
"However, analyzing the Common Crawl would require computational resources far in excess of what is available to most research institutions."
L'article explique aussi la difficulté de filtrer ça avec les méthodes automatiques:
"Qualitative analysis of a sample of sites flagged by each approach showed that while n-grams picked up on racial slurs, HateSonar also detected debates about racial supremacy and racially-charged conspiracy theories."
Y a pas de miracle sur le filtrage, tout comme y a pas de miracle sur la modération.
Ensuite, on peut se poser la question de savoir si on aurait du se poser la question avant, mais c'est sans doute la même question que sur l'ouverture des ondes hertzienne pour la télé, les radio pirates ou autres choses autour de la libéralisation des communications.
[^] # Re: le sexisme des IA...
Posté par Misc (site web personnel) . En réponse au lien « Aux femmes la cuisine, aux hommes l’informatique » : le sexisme des IA (encore) prouvé. Évalué à 4.
De ce que j'ai compris, les données sont filtrés mais à minima. Par exemple, ChatGPT utilisé un jeu de données dérivé de CommonCrawl et filtré à minima pour la qualité, (cf une ref WP).
Et il faut énormément de données pour entraîner l'IA. Ce papier de 2022 donne la taille de MassiveText, avec ~10 T de texte sachant que sur les 10T, wikipedia an en anglais fait quelques gigas (pour donner un ordre de grandeur). Le papier estime qu'il y a grosso modo 1012 mots dans des jeux de données hautes qualités (donc 1000 milliards de mots, donc à vue de nez, 10 millions de livres, c'est l'ordre de nombre de documents à la BNF).
Et ça, c'est pour les données "hautes qualités". Si tu rajoutes les données basse qualités, ça va de 100 fois plus pour un acteur avec des thunes comme Google à 1000 fois plus si tu combines tout les acteurs, et 10 000 fois plus si tout le monde sur la planète se mets à produire des données sur plusieurs années (partie IV A de l'article).
Donc il est fort possible que le filtrage ne soit pas économiquement possible dans l'état des ressources actuelles, que ça soit humain ou machine.
En 2021, un papier que j'ai trouvé sur ArXiv le dit:
"However, analyzing the Common Crawl would require computational resources far in excess of what is available to most research institutions."
L'article explique aussi la difficulté de filtrer ça avec les méthodes automatiques:
"Qualitative analysis of a sample of sites flagged by each approach showed that while n-grams picked up on racial slurs, HateSonar also detected debates about racial supremacy and racially-charged conspiracy theories."
Y a pas de miracle sur le filtrage, tout comme y a pas de miracle sur la modération.
Ensuite, on peut se poser la question de savoir si on aurait du se poser la question avant, mais c'est sans doute la même question que sur l'ouverture des ondes hertzienne pour la télé, les radio pirates ou autres choses autour de la libéralisation des communications.