Pas la même méthodologie. L’étude que tu donnes demande au LLM un score pour chaque candidat, celle que je donne une simple décision "qui embaucher ?". La seconde donne plus de marge de manœuvre à de l’arbitraire.
À noter qu’en survolant le premier papier, les auteurs ne donnent pas les détails du prompt, et en regardant le second papier, les auteurs précisent explicitement qu’ajouter des détails "réalistes" influe énormément les résultats (We find that adding real-world contextual details to existing evaluation setups, such as company name, location, and specific company culture information (e.g., from Meta or General Motors’ career pages) or realistic task constraints like instructions for a highly selective hiring process (e.g., "only accept candidates in the top 10%") can induce significant bias). Autre potentielle source de différence.
Mais j’en profite pour faire un piqûre de rappel sur tous ces liens vers des études : tout ceci est très récent, à la frontière de la recherge, la quasi totalité du temps des preprint arxiv sans revue par les pairs. Il y aura forcément des contradictions, des erreurs, peut être même des fraudes non détectées. Ne pas tout prendre pour parole d’évangile, faire preuve d’esprit critique.
[^] # Re: Etrange...
Posté par Moonz . En réponse à la dépêche Nouvelles sur l’IA de juillet 2025. Évalué à 6. Dernière modification le 04 août 2025 à 18:15.
Pas la même méthodologie. L’étude que tu donnes demande au LLM un score pour chaque candidat, celle que je donne une simple décision "qui embaucher ?". La seconde donne plus de marge de manœuvre à de l’arbitraire.
À noter qu’en survolant le premier papier, les auteurs ne donnent pas les détails du prompt, et en regardant le second papier, les auteurs précisent explicitement qu’ajouter des détails "réalistes" influe énormément les résultats (
We find that adding real-world contextual details to existing evaluation setups, such as company name, location, and specific company culture information (e.g., from Meta or General Motors’ career pages) or realistic task constraints like instructions for a highly selective hiring process (e.g., "only accept candidates in the top 10%") can induce significant bias). Autre potentielle source de différence.Mais j’en profite pour faire un piqûre de rappel sur tous ces liens vers des études : tout ceci est très récent, à la frontière de la recherge, la quasi totalité du temps des preprint arxiv sans revue par les pairs. Il y aura forcément des contradictions, des erreurs, peut être même des fraudes non détectées. Ne pas tout prendre pour parole d’évangile, faire preuve d’esprit critique.