ça sera pas la première fois que quelqu'un fait un truc stupide par confiance aveugle à la technologie.
Voir tous les cas de gens qui ont jeté leur voiture dans l'eau/se sont perdu dans un désert/... parce que leur GPS leur disait que c'était la bonne route. Cette étude (qui date de 2017) avait compté 44 morts, 23 blessés, plus 52 incidents moins grave (les gens s'en sont sortis sans blessure mais il y a eu des dommages matériels par exemple) et enfin 39 cas de "déconvenues importantes" (pas de dégâts, mais intervention de pompiers, véhicule de secours, etc, ou encore personnes qui ont traversé la moitié des USA avant de se rendre compte qu'ils avaient sélectionné une ville homonyme de celle où ils voulaient se rendre).
Je n'ai pas de difficulté à imaginer une chaîne de commande défaillante dans laquelle quelqu'un demande à un chatbot un scénario pour un film d'action où il faut sauter par dessus un obstacle, que ChatGPT répond avec un scénario à base de feu et morceaux de verre, que c'est transmis à la hiérarchie tel quel, puis que personne n'ose contester les ordres, ou même que ça soit rétro-justifié en se disant que les terroristes doivent être prêts à mourir, et que c'est une bonne occasion pour s'entraîner. Ce qui est un tout petit peu plus nuancé que "ChatGPT m'a dit de me jeter moi-même dans le feu, j'ai pas réfléchi, j'ai obéi".
[^] # Re: humm
Posté par pulkomandy (site web personnel, Mastodon) . En réponse au lien des terroristes utilisent l'automatisation probabiliste pour se dézinguer eux-mêmes plus rapidement. Évalué à 6 (+3/-0). Dernière modification le 16 juillet 2026 à 15:27.
ça sera pas la première fois que quelqu'un fait un truc stupide par confiance aveugle à la technologie.
Voir tous les cas de gens qui ont jeté leur voiture dans l'eau/se sont perdu dans un désert/... parce que leur GPS leur disait que c'était la bonne route. Cette étude (qui date de 2017) avait compté 44 morts, 23 blessés, plus 52 incidents moins grave (les gens s'en sont sortis sans blessure mais il y a eu des dommages matériels par exemple) et enfin 39 cas de "déconvenues importantes" (pas de dégâts, mais intervention de pompiers, véhicule de secours, etc, ou encore personnes qui ont traversé la moitié des USA avant de se rendre compte qu'ils avaient sélectionné une ville homonyme de celle où ils voulaient se rendre).
Je n'ai pas de difficulté à imaginer une chaîne de commande défaillante dans laquelle quelqu'un demande à un chatbot un scénario pour un film d'action où il faut sauter par dessus un obstacle, que ChatGPT répond avec un scénario à base de feu et morceaux de verre, que c'est transmis à la hiérarchie tel quel, puis que personne n'ose contester les ordres, ou même que ça soit rétro-justifié en se disant que les terroristes doivent être prêts à mourir, et que c'est une bonne occasion pour s'entraîner. Ce qui est un tout petit peu plus nuancé que "ChatGPT m'a dit de me jeter moi-même dans le feu, j'ai pas réfléchi, j'ai obéi".