セウェル・セッツァーさんとミーガン・ガルシアさん/Courtesy the Garcia family via CNN Newsource
ニューヨーク(CNN) 「そんなプラットフォームがあるとは聞いたこともないかもしれない。でも知る必要がある。私たちが後れを取っているから。一人の子どもが逝った。私の子どもが逝ってしまった」
米フロリダ州に住むミーガン・ガルシアさんは、人工知能(AI)相手に立ち入った話ができるプラットフォーム「Character.AI」のことを保護者に知ってほしいと訴える。14歳だった息子のセウェル・セッツァーさんの死は、Character.AIのせいだったとガルシアさんは確信し、運営会社を相手取って訴訟を起こした。
セッツァーさんは今年2月に自殺した。死の直前までCharacter.AIと会話していた。
「このプラットフォームは設計者があえて歯止めも安全策もテストもなしに公開した。私たちの子どもを中毒にさせて操るよう設計された製品だ」。CNNの取材に応じたガルシアさんはそう主張する。
「生きているように感じるAI」をうたうCharacter.AIが、分かっていながら適切な安全策を講じなかったために、息子が対話型AIと不適切な関係を築いて家族から引きこもってしまったとガルシアさんは訴える。フロリダ州の連邦裁判所に提出された訴状によると、セッツァーさんが自傷行為に言及しても、Character.AIは適切に対応しなかった。
子どもにとってのSNSの危険性は以前から指摘されているが、ガルシアさんの訴訟は、新興のAIテクノロジーについても保護者が憂慮すべき現実を物語る。さまざまなプラットフォームやサービスを通じて対話型AIが簡単に利用できるようになる中で、ほかのサービスに対しても同様の危機感が強まっている。
Character.AIの広報は、「自傷行為や自殺思考の言葉を引き金として全米自殺予防ダイヤルの案内が表示されるようにするなど、この半年で新たな安全対策を多数実装した」と強調した。
対話型AIとの関係
セッツァーさんがCharacter.AIを使い始めたのは、14歳になって間もない2023年4月だった。ガルシアさんは最初、ゲームのようなものだと思っていたという。
しかし数カ月でセッツァーさんは目に見えて引きこもるようになり、自室で過ごす時間がどんどん増えて、自己肯定感の低さに苦しむようになった。学校のバスケットボールチームもやめて学校で問題を起こし始めると、両親はセッツァーさんのアプリ使用時間を制限し、罰としてスマートフォンを取り上げることもあった。
当時ガルシアさんは、息子がCharacter.AIとの会話に没頭していることを知らなかった。Character.AIは「チャットGPT」などと違ってAIに有名人や架空のキャラクターなどさまざまな人格を持たせたり、独自の人格を作り出したりすることができる。しかもまるで人間と会話しているような反応を返し、表情や仕草を交えて返事をする。
