je trouve assez irresponsable que les éditeurs délivrent des outils qu'ils n'arrivent pas à évaluer proprement avant
Il va falloir s'habituer à un changement de paradigme, ces programmes ne doivent pas être évalués comme des logiciels, mais comme des agents. On sait bien évaluer et gérer les risques humains; les humains non plus ne sont pas fiables, pas déterministes, ils sont corruptibles, faillibles, pas forcément honnêtes dans leurs auto-évaluations, etc., et pourtant, on leur confie des responsabilités, et le consensus encore actuel est de leur faire plus confiance qu'aux machines pour les responsabilités critiques (comme conduire un train ou un avion).
Si ton logiciel est trop complexe pour être évalué comme un logiciel (par exemple, comme un logiciel certifié dans l'embarqué), parce que, typiquement, l'examen du code ou du binaire ne t'apprend rien sur la manière dont il fonctionne, alors il va falloir l'évaluer autrement, avec d'autres méthodes et d'autres procédures, et il fa falloir gérer d'autres types de risques.
[^] # Re: Merci
Posté par arnaudus . En réponse à la dépêche Nouvelles sur l’IA de février 2026. Évalué à 2.
Il va falloir s'habituer à un changement de paradigme, ces programmes ne doivent pas être évalués comme des logiciels, mais comme des agents. On sait bien évaluer et gérer les risques humains; les humains non plus ne sont pas fiables, pas déterministes, ils sont corruptibles, faillibles, pas forcément honnêtes dans leurs auto-évaluations, etc., et pourtant, on leur confie des responsabilités, et le consensus encore actuel est de leur faire plus confiance qu'aux machines pour les responsabilités critiques (comme conduire un train ou un avion).
Si ton logiciel est trop complexe pour être évalué comme un logiciel (par exemple, comme un logiciel certifié dans l'embarqué), parce que, typiquement, l'examen du code ou du binaire ne t'apprend rien sur la manière dont il fonctionne, alors il va falloir l'évaluer autrement, avec d'autres méthodes et d'autres procédures, et il fa falloir gérer d'autres types de risques.