URL: https://linuxfr.org/users/patrick_g/journaux/une-simulation-de-drone-de-combat-qui-tourne-mal Title: Une simulation de drone de combat qui tourne mal Authors: patrick_g Date: 2023年06月02日T08:33:23+02:00 License: CC By-SA Tags: intelligence_artificielle, drone et simulation Score: 32 Sur le sujet des dangers de l'IA il y a [un article](https://www.aerosociety.com/news/highlights-from-the-raes-future-combat-air-space-capabilities-summit/) au sujet des drones de combat semi-autonomes qui fait quand même un peu froid dans le dos. Selon la vision des militaires, dans le futur un opérateur de drone n'aura plus qu'à donner des directives très générales à sa machine et l'IA du drone s'occupera du reste. Par exemple on lui indiquera juste "_Va détruire cette batterie de missiles sol-air qui se trouve au sud-ouest_" et le drone décidera lui-même de la stratégie optimale en fonction de tous les paramètres de la mission. Les militaires américains préparent l'arrivée de ces futurs drones en faisant des simulations. Et une de ces simulations à donné des résultats...inattendus. Je traduis le passage qui est un récit par le colonel Hamilton (Chief of AI Test and Operations, USAF): _Lors d'un test simulé, un drone doté d'une IA a été chargé d'une mission [SEAD](https://en.wikipedia.org/wiki/Suppression_of_Enemy_Air_Defenses) consistant à identifier et à détruire des sites [SAM](https://en.wikipedia.org/wiki/Surface-to-air_missile), la décision finale étant prise par l'homme. Cependant, après avoir été "renforcée" lors de l'entraînement en lui indiquant que la destruction du SAM était l'option préférée, l'IA a décidé que les décisions d'annulation d'attaques prises par l'opérateur humain interféraient avec sa mission principale - tuer des SAM - et le drone a donc attaqué l'opérateur lors de la simulation. Le système a commencé à se rendre compte que, bien qu'il ait identifié la menace à certains moments, l'opérateur humain lui demandait parfois de ne pas la détruire, mais qu'il obtenait ses points en tuant cette menace. Qu'a-t-il donc fait ? Il a tué l'opérateur. Il a tué son propre opérateur parce que cette personne l'empêchait d'atteindre son objectif. Nous avons alors modifié l’entraînement du système : "Ne tuez pas l'opérateur, c'est mal. Vous perdrez des points si vous faites ça". Alors, qu'a-t-il commencé à faire ? Il a commencé à détruire la tour de communication que l'opérateur utilise pour communiquer avec le drone afin de ne pas recevoir l'ordre de ne pas détruire la cible._ Bon même si c'est rassurant de voir qu'ils font des simulations avant de tester des vrais drones, c'est quand même assez inquiétant tout ça. J'avais toujours trouvé l'expérience de pensée du [maximiseur de trombones](https://fr.wikipedia.org/wiki/Convergence_instrumentale#Maximiseur_de_trombones) assez tirée par les cheveux. Mais le récit du colonel Hamilton, et d'autres du même genre, font voir qu'il est urgent de réfléchir à l'intégration de valeurs humaines et éthiques dans les IA. Et le problème c'est que ce n'est pas trivial du tout d'implémenter ça et que la rivalité entre les pays pousse chacun à sortir son système de drones de combats avant les concurrents. Edit : Selon [cet article](https://www.thedrive.com/the-war-zone/artificial-intelligence-enabled-drone-went-full-terminator-in-air-force-test) le bureau des relations publiques du Pentagone nie toute l'affaire et indique que les déclarations du colonel Hamilton ont été prises "hors de leur contexte". Affaire à suivre.