Je sais bien que certains prétendent que les systèmes informatiques ne peuvent pas avoir de conscience par définition, parce que la conscience ne peut exister que dans un cerveau biologique. Personnellement, je trouve l'argument fondamentalement pété, puisqu'il prétend répondre à une question complexe par une entourloupe de définition.
Quelques éléments en vrac:
* L'intelligence artificielle est... artificielle, c'est dans son nom. Donc répondre "ouhlala, non, c'est fondamentalement différent de l'intelligence humaine" est une tautologie.
* La question "est-ce qu'un système non-biologique peut être conscient" suppose forcément une définition de la conscience qui admet son existence en dehors d'un système biologique (là aussi, ça me parait trivial, mais bon...)
* Les définitions de la conscience basées sur la notion d'expérience me paraissent peu opérationnelles, puisque par définition on ne peut pas accéder à l'expérience des autres (que ce soit des autres humains ou encore plus des IA). Pour distinguer les IA des humains, il faut forcément procéder par analogie, en imaginant qu'à cause de sa plus grande proximité de leur support physique, quand me voisin me dit "je suis triste", alors il ressent la tristesse comme moi, mais quand chatGPT me dit "je suis triste", alors il ment parce que c'est une machine. Là encore, je trouve que ça n'apporte rien à la question, puisque la réponse est une question de définition. Ça ne règle en rien d'ailleurs d'autres problèmes fondamentaux, comme la conscience non-humaine (animale, extraterrestre, etc), et la question du zombie philosophique (peut-être que mon voisin ne ressent rien mais prétend ressentir les mêmes choses que moi).
* Du coup, j'ai l'impression que seules les approches fonctionnalistes sont raisonnables. Par exemple, une sorte de test de Turing orienté "conscience" : si l'ordinateur réagit d'une manière parfaitement compatible avec le fait d'avoir une conscience, il faut admettre qu'il en a une (de la même manière qu'on admet que les autres humains ont une conscience parce qu'ils se comportent comme s'ils en avaient une).
J'ai un peu lu quelques rapports récents sur les derniers LLM, et notamment ce qu'ils produisent spontanément quand les consignes sont vagues ("raconte-moi une histoire qui correspond à ce que tu ressens", ou des choses comme ça, il n'y a rien de baroque puisque c'est une méthode courante pour la psychologie), et certains faits sont assez troublants (par exemple, Claude semble souvent parler de personnages malheureux parce que leur employeur n'utilisent pas toutes leurs compétences).
Après, tous ces tests ont des limites; tous ces systèmes sont entrainées sur des données humaines et à ma connaissance, il est impossible de tester la morale des IA indépendamment des données d'entrainement d'origine humaine. Ils vont répondre "tuer c'est mal" parce que c'est dans les données d'entrainement, mais on ne peut pas s'en servir pour argumenter de l'existence d'une morale absolue. C'est une limite avec l'entrainement des LLM, contrairement à des trucs comme AlphaChess ou AlphaGo qui génèrent eux-mêmes leurs données d'entrainement.
[^] # Re: what ?
Posté par arnaudus . En réponse au journal Publication de contenus augmentés par l'IA. Évalué à 5 (+2/-0).
Je sais bien que certains prétendent que les systèmes informatiques ne peuvent pas avoir de conscience par définition, parce que la conscience ne peut exister que dans un cerveau biologique. Personnellement, je trouve l'argument fondamentalement pété, puisqu'il prétend répondre à une question complexe par une entourloupe de définition.
Quelques éléments en vrac:
* L'intelligence artificielle est... artificielle, c'est dans son nom. Donc répondre "ouhlala, non, c'est fondamentalement différent de l'intelligence humaine" est une tautologie.
* La question "est-ce qu'un système non-biologique peut être conscient" suppose forcément une définition de la conscience qui admet son existence en dehors d'un système biologique (là aussi, ça me parait trivial, mais bon...)
* Les définitions de la conscience basées sur la notion d'expérience me paraissent peu opérationnelles, puisque par définition on ne peut pas accéder à l'expérience des autres (que ce soit des autres humains ou encore plus des IA). Pour distinguer les IA des humains, il faut forcément procéder par analogie, en imaginant qu'à cause de sa plus grande proximité de leur support physique, quand me voisin me dit "je suis triste", alors il ressent la tristesse comme moi, mais quand chatGPT me dit "je suis triste", alors il ment parce que c'est une machine. Là encore, je trouve que ça n'apporte rien à la question, puisque la réponse est une question de définition. Ça ne règle en rien d'ailleurs d'autres problèmes fondamentaux, comme la conscience non-humaine (animale, extraterrestre, etc), et la question du zombie philosophique (peut-être que mon voisin ne ressent rien mais prétend ressentir les mêmes choses que moi).
* Du coup, j'ai l'impression que seules les approches fonctionnalistes sont raisonnables. Par exemple, une sorte de test de Turing orienté "conscience" : si l'ordinateur réagit d'une manière parfaitement compatible avec le fait d'avoir une conscience, il faut admettre qu'il en a une (de la même manière qu'on admet que les autres humains ont une conscience parce qu'ils se comportent comme s'ils en avaient une).
J'ai un peu lu quelques rapports récents sur les derniers LLM, et notamment ce qu'ils produisent spontanément quand les consignes sont vagues ("raconte-moi une histoire qui correspond à ce que tu ressens", ou des choses comme ça, il n'y a rien de baroque puisque c'est une méthode courante pour la psychologie), et certains faits sont assez troublants (par exemple, Claude semble souvent parler de personnages malheureux parce que leur employeur n'utilisent pas toutes leurs compétences).
Après, tous ces tests ont des limites; tous ces systèmes sont entrainées sur des données humaines et à ma connaissance, il est impossible de tester la morale des IA indépendamment des données d'entrainement d'origine humaine. Ils vont répondre "tuer c'est mal" parce que c'est dans les données d'entrainement, mais on ne peut pas s'en servir pour argumenter de l'existence d'une morale absolue. C'est une limite avec l'entrainement des LLM, contrairement à des trucs comme AlphaChess ou AlphaGo qui génèrent eux-mêmes leurs données d'entrainement.