Deuxième exemple: les biais racistes. Ils n'ont absolument rien à voir avec la technologie derrière les LLMs, cela est complètement dû aux données ingérées, et diffèrents modèles se comporteront diffèrement.
Je resterai prudent/modéré sur la première partie du propos, on est pas à l'abri d'une erreur d'implémentation ou de corrections post-apprentissage par exemple.
Exemple (sur la question du biais positionnel): Their experiments revealed that model architectures, particularly those affecting how information is spread across input words within the model, can give rise to or intensify position bias, and that training data also contribute to the problem.
In terms of bias mitigation, strategies are typically categorized into three broad approaches: data-level interventions, model-level techniques, and post-processing adjustments.
(Et les questions ne semblent pas forcément propres aux LLM mais pour beaucoup au traitement statistique en général ?)
LLM bias can appear within the model’s internal representations as well as in final decisions. Bias in LLMs can be mitigated with or without additional training.
[^] # Re: Toujours pas convaincu
Posté par Benoît Sibaud (site web personnel) . En réponse au journal Retour d'expérience sur le développement d'une application par l'utilisation d'IA. Évalué à 4. Dernière modification le 02 février 2026 à 11:03.
Je resterai prudent/modéré sur la première partie du propos, on est pas à l'abri d'une erreur d'implémentation ou de corrections post-apprentissage par exemple.
https://news.mit.edu/2025/unpacking-large-language-model-bias-0617
Exemple (sur la question du biais positionnel): Their experiments revealed that model architectures, particularly those affecting how information is spread across input words within the model, can give rise to or intensify position bias, and that training data also contribute to the problem.
Ou https://arxiv.org/html/2411.10915v1
In terms of bias mitigation, strategies are typically categorized into three broad approaches: data-level interventions, model-level techniques, and post-processing adjustments.
(Et les questions ne semblent pas forcément propres aux LLM mais pour beaucoup au traitement statistique en général ?)
Ou https://hellofuture.orange.com/en/how-to-avoid-replicating-bias-and-human-error-in-llms/
LLM bias can appear within the model’s internal representations as well as in final decisions. Bias in LLMs can be mitigated with or without additional training.