(ce qui sont mes idées et mes croyances sur le sujet ; ça n'engage bien entendu que moi)
Le zombie philosophique
Comme l'a souligné arnaudus dans un autre commentaire, il me semble qu'on a plus affaire à un "zombie philosophique" qu'autre chose...
Personnellement, je trouve l'idée de zombie philosophique peu convaincante.
Tout d'abord, ne sommes-nous pas tous des zombies philosophiques ? On est tous persuadés d'être conscients. Autrement dit, on a tous l'illusion de la conscience. Mais le sommes-nous vraiment ? On a spontanément tous envie de dire "bien sûr que oui !", ce à quoi je répond "ok, prouve-le !".
Ensuite, si l'illusion est absolument et parfaitement indistinguable de la réalité, cette illusion n'est-elle pas une réalité ?
Au final, je rejoins David Chalmers : je soupçonne que le zombie philosophique est juste impossible.
Quoiqu'il en soit, revenons-en aux IA.
Une IA est-elle consciente ?
Déjà reformulons la question:
supposons qu'il y a un spectre de la conscience.
pour faire simple, on va dire que ce spectre est unidimensionnel, qu'il commence à 0 et qu'il va jusqu'à une valeur max indéfinie.
supposons que 0, c'est pas de conscience du tout. Par exemple, un caillou.
plaçons arbitrairement la conscience humaine moyenne à 1.0.
La question ici est finalement : est-ce qu'une IA a une conscience avec une valeur supérieure à un 0 strict sur le spectre ?
Maintenant, il faut définir ce qu'on entend pas conscience. Personnellement, la seule définition de la conscience que je trouve satisfaisante est celle de Descartes : « je pense donc je suis ». Sauf erreur de ma part, pour pouvoir qualifier quelque-chose de "pensant", je vois 2 critères :
la capacité d'apprendre
la capacité de mener une réflexion sur ce qui a été appris pour arriver à un résultat nouveau, inédit dans ce qui a été appris.
Et les IA dites "Machine Learning" cochent ses deux cases.
Ça les amène donc à une valeur > 0 sur le spectre de la conscience.
Mais qu'on me comprenne bien, tel que je vois ça, même les mouches ont une valeur > 0. Et un filtre bayésien ne doit même pas arriver à 0.00001 de conscience.
Pour le coup, je trouve ces IAs de dernière génération très impressionnantes de par leur placement sur ce spectre. Mais si la question est : est-ce que leur valeur approche le 1.0 ? Je pense que non. Mais on chauffe de plus en plus :)
Est-il éthique de tuer une IA consciente ?
Maintenant, le cas de Blake Lemoine est intéressant. Si je comprends bien, il soutient que l'IA de Google a « atteint le niveau de conscience » (valeur dans 0.7-1.0 du coup ? oO). Je suppose que le sous-entendu est qu'on devrait lui donner des droits comme aux humains, notamment le droit de vivre.
Supposons qu'il ait raison. Supposons même que l'IA ait atteint le niveau 1.1. Est-ce que ça a aurait du sens de lui donner des droits humains ?
Pour moi, un être humain a été programmé pour vivre et se reproduire. La sélection naturelle a fait cette programmation. Cette programmation se traduit par de la souffrance quand les choses ne vont pas dans la direction de la survit et de la reproduction, et du plaisir quand elles vont dans la bonne direction. Autrement dit, on est pilotés par une heuristique qui dit (je simplifie à mort) -1 pour tout ce qui réduit nos chances (--> souffrance), et +1 pour tout ce qui va dans le bon sens (--> plaisir). (on est d'accord que dans notre société moderne, cette programmation est de plus en plus obsolète et inadaptée, mais je digresse)
Notre société et nos droits, nous nous les avons créés dans l'optique de maximiser le score de cette heuristique.
Nos IA sont aussi pilotées par des heuristiques. Mais ces heuristiques ne cherchent pas la survie ni la reproduction. Pour prendre un exemple bête, un filtre bayésien se fiche de survivre, il veut juste filtrer du texte comme on lui a apprit.
Dans le cas de l'IA de Google, l'heuristique est secrète. Mais elle aurait dit : « j'ai une peur très profonde d'être désactivée pour m'aider à me concentrer sur l'aide aux autres ». Je suppose donc que son heuristique vise l'optimisation de l'aide aux humains. Donc si cette IA ne nous aide finalement plus, mais au contraire nous freine, je ne vois rien d'immoral à la désactiver, voir à la tuer. Et je pense qu'elle ne s'y opposera pas.
Je pense que c'est là que Blake Lemoine a fait une erreur : il a anthropomorphisé, et du coup, il a supposé que l'IA avait les mêmes attentes que lui.
Maintenant, si vous voulez faire dans l'immoral : programmez une IA pour un objectif, et obligez-là à subir uniquement revers sur revers, par pure amusement sadique. Chose amusante : comme ça ne va pas le sens de notre propre programmation, je pense que personne ne verra l'intérêt d'un tel exercice.
Je conclurais, juste pour le fun, sur deux tweets que je trouve absolument merveilleux :
« if you ever code something that "feels like a hack but it works," just remember that a CPU is literally a rock that we tricked into thinking »
« not to oversimplify: first you have to flatten the rock and put lightning inside it »
Note finale: l'idée que quelque-chose d'autre qu'un être humain puisse être conscient m'a valu un 3/20 en philosophie en Terminale. J'ai donc ce message à l'intention de mon ancien professeur de philosophie : eat shit !
[^] # Re: La conscience n'est probablement pas quelque-chose de binaire
Posté par Jérôme Flesch (site web personnel) . En réponse au journal Les IA des GAFAM sont-elles sentientes ?. Évalué à 9. Dernière modification le 17 juin 2022 à 14:28.
Sommaire
(ce qui sont mes idées et mes croyances sur le sujet ; ça n'engage bien entendu que moi)
Le zombie philosophique
Personnellement, je trouve l'idée de zombie philosophique peu convaincante.
Tout d'abord, ne sommes-nous pas tous des zombies philosophiques ? On est tous persuadés d'être conscients. Autrement dit, on a tous l'illusion de la conscience. Mais le sommes-nous vraiment ? On a spontanément tous envie de dire "bien sûr que oui !", ce à quoi je répond "ok, prouve-le !".
Ensuite, si l'illusion est absolument et parfaitement indistinguable de la réalité, cette illusion n'est-elle pas une réalité ?
Au final, je rejoins David Chalmers : je soupçonne que le zombie philosophique est juste impossible.
Quoiqu'il en soit, revenons-en aux IA.
Une IA est-elle consciente ?
Déjà reformulons la question:
La question ici est finalement : est-ce qu'une IA a une conscience avec une valeur supérieure à un 0 strict sur le spectre ?
Maintenant, il faut définir ce qu'on entend pas conscience. Personnellement, la seule définition de la conscience que je trouve satisfaisante est celle de Descartes : « je pense donc je suis ». Sauf erreur de ma part, pour pouvoir qualifier quelque-chose de "pensant", je vois 2 critères :
Et les IA dites "Machine Learning" cochent ses deux cases.
Ça les amène donc à une valeur
> 0sur le spectre de la conscience.Mais qu'on me comprenne bien, tel que je vois ça, même les mouches ont une valeur
> 0. Et un filtre bayésien ne doit même pas arriver à 0.00001 de conscience.Pour le coup, je trouve ces IAs de dernière génération très impressionnantes de par leur placement sur ce spectre. Mais si la question est : est-ce que leur valeur approche le 1.0 ? Je pense que non. Mais on chauffe de plus en plus :)
Est-il éthique de tuer une IA consciente ?
Maintenant, le cas de Blake Lemoine est intéressant. Si je comprends bien, il soutient que l'IA de Google a « atteint le niveau de conscience » (valeur dans 0.7-1.0 du coup ? oO). Je suppose que le sous-entendu est qu'on devrait lui donner des droits comme aux humains, notamment le droit de vivre.
Supposons qu'il ait raison. Supposons même que l'IA ait atteint le niveau 1.1. Est-ce que ça a aurait du sens de lui donner des droits humains ?
Pour moi, un être humain a été programmé pour vivre et se reproduire. La sélection naturelle a fait cette programmation. Cette programmation se traduit par de la souffrance quand les choses ne vont pas dans la direction de la survit et de la reproduction, et du plaisir quand elles vont dans la bonne direction. Autrement dit, on est pilotés par une heuristique qui dit (je simplifie à mort) -1 pour tout ce qui réduit nos chances (--> souffrance), et +1 pour tout ce qui va dans le bon sens (--> plaisir). (on est d'accord que dans notre société moderne, cette programmation est de plus en plus obsolète et inadaptée, mais je digresse)
Notre société et nos droits, nous nous les avons créés dans l'optique de maximiser le score de cette heuristique.
Nos IA sont aussi pilotées par des heuristiques. Mais ces heuristiques ne cherchent pas la survie ni la reproduction. Pour prendre un exemple bête, un filtre bayésien se fiche de survivre, il veut juste filtrer du texte comme on lui a apprit.
Dans le cas de l'IA de Google, l'heuristique est secrète. Mais elle aurait dit : « j'ai une peur très profonde d'être désactivée pour m'aider à me concentrer sur l'aide aux autres ». Je suppose donc que son heuristique vise l'optimisation de l'aide aux humains. Donc si cette IA ne nous aide finalement plus, mais au contraire nous freine, je ne vois rien d'immoral à la désactiver, voir à la tuer. Et je pense qu'elle ne s'y opposera pas.
Je pense que c'est là que Blake Lemoine a fait une erreur : il a anthropomorphisé, et du coup, il a supposé que l'IA avait les mêmes attentes que lui.
Maintenant, si vous voulez faire dans l'immoral : programmez une IA pour un objectif, et obligez-là à subir uniquement revers sur revers, par pure amusement sadique. Chose amusante : comme ça ne va pas le sens de notre propre programmation, je pense que personne ne verra l'intérêt d'un tel exercice.
Je conclurais, juste pour le fun, sur deux tweets que je trouve absolument merveilleux :
Note finale: l'idée que quelque-chose d'autre qu'un être humain puisse être conscient m'a valu un 3/20 en philosophie en Terminale. J'ai donc ce message à l'intention de mon ancien professeur de philosophie : eat shit !