「脳は世界をどう見ているのか」を読んだ

この前、3月21日にビルゲイツ氏はAIについてブログを書いた。

The development of AI is as fundamental as the creation of the microprocessor, the personal computer, the Internet, and the mobile phone. It will change the way people work, learn, travel, get health care, and communicate with each other. https://t.co/uuaOQyxBTl

— Bill Gates (@BillGates) March 21, 2023

それについての私のツイートはこれ↓

ビルゲイツがAIについて長文ブログを投下。ビルゲイツが人生で革命的だと思ったテクノロジーは二つしかない。一つ目は、1980年にパロアルト研究所で見たコンピュータのGUIのデモ。WindowsのGUIの元になった。二つ目は、去年見たOpenAIのAI(GPT-3)だ!ゲイツがAIでどんだけテンションブチ上げたか分か...

— うみゆき@AI研究 (@umiyuki_ai) March 22, 2023

ビルゲイツ氏が記事のおわりに、参考になった本として挙げた3冊の中に、ジェフホーキンス氏の「A Thousand Brains(邦題:脳は世界をどう見ているのか)」があった。

たまたまちょうど私もこの本を読んでいたので奇遇だなあと驚いた。

ジェフホーキンス氏は元々、人間の脳を研究する仕事がしたかったようだが、そういう仕事が見つからなかった。そこでIT業界にやってきて、パームと言う会社を興した。
そう、あの手のひらサイズのコンピュータ、パームである。

Happy Birthday to Jeff Hawkins, the quiet Silicon Valley giant who pioneered key products. With his business partner @ddubinsky, he founded Palm, where he created the Palm Pilot, the first pocket computer people wanted. Later, he invented the Treo, the best pre-iPhone smartphone. pic.twitter.com/rcRPqI2UBn

— Walt Mossberg (@waltmossberg) June 1, 2020

これで儲かったから、ジェフ氏は念願の脳みそを研究する研究所を作って思う存分脳の研究を開始したわけだ。

で、その研究をまとめたのがこの本というワケだ。

この本では、まず第一部で脳の仕組みについて書かれているが、それだけに飽き足らず、第二部ではAIについて、そして第三部では人間の知能について書かれている。

AIとはなかなかタイムリーな話題だが、とは言えこの本の原著が出たのは2021年3月、本を書いている段階ではまだGPT-3が出たか出てないかくらいのタイミングだろう。

私が興味深いと思ったのは、人間の脳の構造とChatGPTのようなAIの構造が似てるかもしれない...みたいな所だ。ジェフ氏がそう書いてるわけじゃないが、読んでる中でそう感じるポイントが多かった。

早速、本の中身に付いてザッと紹介していく。
まず、人間の脳みそには古い脳と新しい脳があるらしい。脳みその中心にあるのは古い脳みそで、本能を司っている。そして、その周りにある部分、脳みそのしわしわの部分は大脳新皮質で、新しい脳みそ、ここは知能を司っている。

この本で焦点を当てるのは人間の知能を司る新皮質の方である。

マウントキャッスル氏という神経学者は、新皮質の仕組みについて重要な指摘をした。
まず、新皮質は人間の進化の過程で古い脳の上にどんどん付け足されて増えていった。そして新皮質はどの部分をみても同じ構造をしている。コラムというものが大量に詰まってる。

マウントキャッスル氏は「新皮質の構造が全部同じって事はつまり、人間の知能は聴覚も視覚も触覚も全部同じ仕組みで動いてるんじゃね?耳と繋がってるコラムは聴覚を、目と繋がってるコラムは視覚を処理してるってだけじゃね?」と書いた。人間の知能は全部同じアルゴリズムで動いてる可能性を指摘したわけだ。

面白い話じゃないか。ChatGPTにはTransformerというアーキテクチャが使われてるが、これを視覚に応用したVision Transformerと言うものがある。同じTransformerでも、言語を入力すればGPTになるし、画像を入力すればVision Transformerになる。これって脳の仕組みと同じじゃん!

しかし、人間の知能を動かしてる共通のアルゴリズムってなんなんだ?

ジェフ氏は、それは座標系を作る事と、予測を行う事だと言う。

我々は例えばコーヒーカップを手で触る事で、コーヒーカップの座標系を理解する。椅子を触れば椅子の座標系を理解する。

座標系ってなんじゃ?というと、Blenderを触ってる人ならグローバル座標とローカル座標がある事は知っているだろう。Blenderにコーヒーカップのオブジェクトを置けば、コーヒーカップは独自のローカル座標を持ってるし、椅子オブジェクトは椅子のローカル座標を持ってる。大体そんな感じだ。

そしてその座標系を使って、我々は常に予測を行ってる。「コーヒーカップを手に持ったらこんな感触がするはずだ...」とかを無意識に先読みしている。だからこそ、もしもコーヒーカップにヒビ割れなんかがあれば、触った感触ですぐに気付く事ができる。それは予測していたいつもの触感と違うから。予測が外れたからだ。

脳が常に予測を行っているという話も私には興味深いものだった。だってGPT-3だってテキストの続きを予測するように学習されてるじゃないか。

そして、新皮質は座標系を作るアルゴリズムを応用して、頭の中に周りの地形の地図を作るらしい。見知った町はどっちに歩けば何があるか分かっている。これは脳がその町の地図の座標系を学習したからだ。

さらに、数学や哲学のような目に見えない概念も地図と同様に、脳の座標系の中に位置付けられるという。
ただし、コーヒーカップや街の座標系がx,y,zの3次元だったのにたいして、概念の座標系は4次元以上の多次元ベクトルとして保存される。

そして、我々が考えるというのは何を意味するのかと言うと、噴水やら店やらが配置された街の中をさまようのと同様に、数学やら哲学やらの概念が配置された脳の座標系の中をさまよってるようなもんだという。

これまた興味深い話だ。概念を多次元ベクトルとして表現するというのは言語モデルで多用される埋め込みベクトルと全く同じではないか。

次は"千の脳理論"の話だ。人間の脳がコーヒーカップのモデルを学習する時、それは一つのコラムだけに保存されるんじゃなくて、何千ものコラムに同時に保存されるらしい。じゃあ、どうしてコーヒーカップを触った時に何千ものカップを感じないで済むのか?それは脳内で投票が行われてるからだという。

脳内のコラムは「これはコーヒーカップだ!」と主張するかもしれないし、「いや湯呑みかも」と主張するヤツもいるかもしれない。どっちなのかは多数決で判断する。コーヒーカップの方が優勢なら、それはコーヒーカップだと理解される。

ここまでが第1部の話だ。続いて第二部ではAIの話題に移る。

ジェフ氏はGPTのようなAIについて触れる。GPTのようなやり方でAGIは達成できないだろうという。もっと人間の脳の仕組みに寄せる必要がある。だからこそ人間の脳の仕組みを理解するのが重要なのだ。

AIは専用AIから万能AIにシフトするだろうとジェフ氏は言う。これは専用コンピュータより汎用コンピュータの方が主流になった歴史と同じらしい。これは実際そうなってきてると思う。かつてはタスクごとにそれ用のAIを学習させて開発していたらしいが、今となってはChatGPTだけでどんなタスクでもできてしまうようになった。

ジェフ氏は、機械が知的になるためには4つの特性が必要だという。1.たえず学習する(ChatGPTは知識が2021年で止まっていて新しい事を学習できない) 2.動きによって学習する(ChatGPTは身動き取れない) 3.たくさんのモデルを持つ(千の脳理論のように、モデルを分散して記憶するという事) 4.知識を保存するのに座標系を使う(ChatGPTはすでに概念を多次元ベクトルで記憶してると思う)

AIは意識を持つのか?ジェフ氏に言わせれば、脳と同じ仕組みで作られたAIは意識を持つ。意識なんてのは過去から現在までが連続的に繋がって思い返せるという感覚に過ぎない。

AIに意識があるならスイッチをオフにしたら殺人なのか?それは大丈夫だという。人間が死ぬのを恐れるのは古い脳のせいだが、AIには古い脳は無いから気にしないらしい。

ジェフ氏は、知的な機械を作るためには3つの要素が必要だという。

1.身体性 つまりロボットのボディのように、センサーと体を動かせる能力が必要。なぜなら人間の脳は体を動かす事によって学習するからだ。

2.古い脳の部分 人間は身体のバランスを取るみたいな制御は古い脳が自動で行ってくれている。感情や目標、動機を与えるためにも古い脳が必要だ。

3.新皮質に相当するもの 脳の新皮質を模倣した汎用の学習システム

インターネットが元々想定されていたのと全然違う使われ方をされているように、知的機械も将来的にどんな使われ方をするのかは予想が付かない。

次に、AIによる人類滅亡リスクについての話。

ジェフ氏はAIの知能爆発(AIが人間より頭良くなって、AIが自分でもっとすごいAIを開発していって、人間は置いてけぼりになる)は起きないという。というのは、もしAIロボットの脳が人間の脳よりも100万倍速く動作するとしても、実際に身体を動かして学習するのは人間と変わらないだろうから、身体を動かすのはロボットも大して速くはできないだろうから言うほど高速に学習はできないという。

私はこのジェフ氏の理屈には穴があるような気がする。たしかにAIロボットは人間の100万倍の速さでは動けないだろう。しかし、100万台のロボットがそれぞれ学習したらどうなる?それぞれのロボットはクラウドコンピューティングで動いていて、サーバーでは100万の身体から同時に学習を行うとしたら?それなら人間の100万倍の速度で学習だって可能に思える。

次にアラインメントの問題。いわゆるペーパークリップマキシマイザー(AIに「クリップを出来るだけたくさん作れ」と命令したら、ひたすらクリップ作り始めて地球の全てをクリップにしちゃう話)を例に挙げる。

ジェフ氏は「おかしくね?なんでペーパークリップマキシマイザーのAIは最初は「クリップ作れ」って命令をちゃんと聞くのに、「クリップ作るの止めろ」って命令は無視するんだよ?」と指摘する。

さらに言うと、どうしてこのAIは地球の全ての資源を手中に収めてるんだよ?と指摘する。AIに地球の全てを任せちゃうような人類だとしたら、そもそも独裁者とかに滅ぼされてるだろうが!との事。

我々は核兵器を撃つ権限も一人の人間には与えておらず、複数の人間の判断が必要な仕組みにしている。だからAIに地球の資源を全部明け渡すようなしないだろうから、こんな問題は起きないという事。

ジェフ氏は、知的機械は古い脳を持ってないから人間を支配したり滅ぼしたりする動機を持たないから大丈夫だよと言う。私はこの話は怪しいかもしれないと思う。ジェフ氏の考える知的機械なら大丈夫かもしれないが、現在主流のChatGPTはWeb上のテキストで学習している。つまり人間のデータだ。そうなると人間の古い脳の良くない部分、欲望だのなんだのも大いに学習してしまってるかもしれない。

これで第二部の話は終わりだ。次に第三部では、そもそもAIのアラインメントを問題にするよりも、人間のアラインメントを先に考えた方がいんじゃね?みたいな人間の知能の話に移る。

人間は誤った信念を持つ事がある。どうしていまだに地球が平らだと信じてる人がいるのか?気候変動を否定する人達がいるのか?

人々に広まりがちな誤った信念は、3つの要素を持っているという。1.直接経験できない 2.反証を無視する 3.ウイルス性の広がり

例えば気候変動は自分で直接実感できないし、気候変動を認めるとビジネスが不利になる人達は気候変動の証拠を無視しようとする。そして気候変動論は個人の自由を奪おうとする陰謀だから引っかかるな!とか言い出す。

次に、脳と機械を融合させる話題。

まず、脳をコンピュータにアップロードすれば不死になれるんじゃね?という話題。この話には誤解があるという。脳をアップロードするぞ!ってやってもらったら、次の瞬間、自分はコンピュータの中にいる。やったぞ、これで不死身だ!なんて事になるかというと、実はそうならない。

実際に起きる事は、脳をアップロードした後も依然として自分は生身の肉体のままであり、コンピュータを見ると別の自分が「やったぞ!」とか喜んでるという事態だ。つまり、自分がコンピュータの中に入るんじゃなくて、単にコンピュータに自分のコピーが生まれるだけ。ぶっちゃけそんな事を望んでいたのだろうか?結局自分が死ぬことはまぬがれない。

次に、脳に電極刺してコンピュータと繋ぐ話。ジェフ氏はこれも微妙じゃね?という。どっちみち生身の肉体はいずれ死ぬ。ただし、身体が動かせない人がロボットアームを操作できるようにするためにやるみたいな事なら有意義かも。

それからジェフ氏は、仮に人類が滅びるとして、その後に何か残せないか考えてみようよ、という。

例えばパイオニア号やボイジャー号といった宇宙探査機は太陽系を離れていった。いつか宇宙人がこれを見つければ、人類の存在に気付くかもしれない。とはいえ見つけられる可能性は低い。

SETI協会は、どこからか宇宙人がメッセージの信号を送ってきてないか、受信を続けている。
ジェフ氏はむしろこちらからもメッセージを送信すべきだという。これには反対派も多いらしい。というのはメッセージに気付いた宇宙人は地球を侵略しに来ちゃうかもしれないとかいう心配があるらしい。ジェフ氏に言わせれば、地球に来れるほどの高度な文明を持った宇宙人なら頭いいからそんなに敵対的じゃないんじゃね?という。

それから、人類の知識をタイムカプセルとしてどっかに恒久保存しておこうというアイデア。例えばウィキペディアのデータを刻み込んでアーカイブしておく。もし人類が滅んでも、全ての動物が滅ぶわけじゃ無し。いずれネズミだかカメだか何だかがまた人間みたいに進化していくかも。そんでアーカイブされたウィキペディア見て解読して喜ぶかもしれない。

最後に、我々人類が滅びないための対策の話題。

まず、他の惑星に移住するという計画。例えば火星に知的機械のロボット集団を送り込んで、いい感じに人間が住めるように開発しといてもらう。

その場合、人間の方も火星に適応できるようにDNA編集とかする事になるかもしれない。

最後の選択肢として、人間の置き換えとしての機械知能(エージェントロボ)を作るという手がある。このロボットはもはや人間に依存しない。人類が絶滅した後も我々抜きでエージェントロボたちは自分達で繁栄する。

何故エージェントロボが必要なのかと言うと、さっき書いたようなウィキペのアーカイブはいずれ朽ち果てる。エージェントロボなら自己複製していって人間の知識を残し続けられる。
あるいはエージェントロボを宇宙に送り出すのもいいかもしれない。彼らは宇宙を探検して様々な事を学ぶだろう。

おわり

というわけで、「脳は世界をどう見ているのか」の内容をザッとまとめた。

これを読んでいて、思った以上にChatGPTのようなTransformerのAIは人間の脳に近いのかもしれないなと感じた。

マウントキャッスル氏は、人間の脳は進化の過程でひたすら新皮質のコラム構造を増やしまくった結果、単一のアルゴリズムであらゆる知能を獲得していくに至ったという。

それって、Transformerをひたすらパラメータ増やしていったらどんどん賢くなっていき、様々な創発能力を獲得するに至った流れに似てるよね。

文中でも書いたが、脳の新皮質が全て同じアルゴリズムで動いていて、単にコラムが繋がってる先が眼だったら視覚処理を、耳だったら聴覚処理をやってるだけ。という話は、Transformerがテキストを入力するとGPTになるし、画像を入力するとVision Transformerになっちゃう話に似ている。
脳が常に予測を行っているという特徴も、GPTが文の続きを予測するように学習している事に似ている。

さらに、人間の脳は概念を多次元ベクトルとして保存しているという話も、まるっきり言語モデルが概念を埋め込みベクトルとして記憶している話と同じである。

ただし、ジェフ氏は「GPTはちょっと違うんじゃないかと思う」とも言っている。もっと人間の脳に寄せなきゃ!と言う。ジェフ氏に言わせればGPTは人間の脳とは全然似てないというわけだ。まあジェフ氏はずっと脳を研究してたから、脳に似ている部分よりも似ていない部分の多さの方が気になってしまうのかもしれない。

GPT-4の賢さを見てしまうと、必ずしも人間の脳の構造を完コピしなくても、似たような構造をひたすら肥大化させていくだけで知能は生まれてしまうのかもしれないなと感じた。

ただし、ジェフ氏が指摘するように、絶えず学習し続けるという特性を持たないと知能とは言えないという話はそうかもしれないなと思う。私はむしろGPTがトレーニングと推論で完全に別れていて、推論時は一切学習できないのは不思議な気がしている。

結局ジェフ氏の言う通り、GPTは身動きができないからたえず学習する事ができないんだろう。たえず学習するには人間と同様に肉体を持って常に動き続ける事が必要だそうだ。

そうして考えると、やはりロボットにAIを積むべきなんだろうと思う。ジェフ氏も知的機械の実現には身体性が必要だと書いている。ロボットが散歩すれば、常に新しい景色が視界に入ってくる。ロボットはそれらをたえず学習して、たえず予測を行う。

私はAIのアーキテクチャに詳しいわけではないが、このような仕組みを実現するのは大して難しくは無さそうな気がする。要するにトレーニングと推論を同時にやり続ければいいだけなんじゃないか?

恐らくビルゲイツ氏も本を読んでこの辺の話に気付いて、今ごろ新たな戦略を練ってるかもしれない。

ロボットにAIを積む話で言えば、googleやメタがすでにかなり研究を進めている。

Googleが5620億のパラメーターを持つ最大の持視覚言語モデルPaLM-Eを開発
5400億パラメーターのPaLM + 220億パラメーターのViT = 5620億パラメーターのPaLM-E
ロボット工学、視覚、および言語にまたがる、汎用的なモデル

詳細はスレッドに続く)

サイト: https://t.co/64t8XP4lyZ https://t.co/0wdtGRwvAA pic.twitter.com/T3kSfynlVP

— 納村 聡仁 / Osamura Akinori (@akinoriosamura) March 7, 2023

Contemporary discussion (hype?) about LLMs and "pausing AGI development" seems oblivious of Moravec’s paradox.

We’ve hypothesized since the 80s — that the hardest problems in AI involve sensorimotor control, not abstract thought or reasoning.

It https://t.co/kK7bkCDcq1... pic.twitter.com/OlFzhzsSbH

— Dhruv Batra (@DhruvBatraDB) March 31, 2023

むしろこれらのロボット研究はジェフ氏の脳研究の話を踏まえた上でやっている可能性もあるね。

ちなみに、AIが人間の脳に似ている話で言うと、画像AI(LDM)の処理のプロセスが人間の脳の視覚処理に似ているという研究もある。

MRI から画像を生成する話|teftef @hanyingcl #note https://t.co/AKwo6VKhhT

・阪大の fMRI から画像生成するやつ
・人間の脳と Diffusion Model の対応付け

この論文かなり面白かった。特に後半の結果以降がほんとにいい。#stablediffusion #AI

— teftef (@hanyingcl) April 3, 2023

teftefさんの記事、じっくり読んだら面白い事が書いてる。この論文はfMRIの画像からその人が見ているものを画像AIで再構築する話だが、実はそれだけじゃない。「じゃあ逆に画像AIの処理からfMRI画像が生成できるんじゃね?」という事もやってる。そうすると「画像AIが今やってる処理は人間の脳みそで言...

— うみゆき@AI研究 (@umiyuki_ai) April 4, 2023

本の続きで、ロボットのリスクについて書いている部分は、参考になる部分もあるものの、ツッコミ所も結構ある気がした。

本の第三部では、かなりSFチックな構想が語られたりしている。申し訳ないがこの辺はそこまで強い興味が持てなかった。あまりにも未来すぎる話だからだろうか。

私は最近はそんなずっと先の未来がどうこうよりも、毎日毎日ヤバいAIが新登場していて付いていくのが大変すぎて、明日の事を考えるだけで精一杯である。

この本が書かれたのは2021年だが、現状のAIビッグウェーブを見てジェフ氏は今どのように感じてるのだろうか。

ちなみに、この本には微妙に矛盾してるようなそうでもないような点が色々とある気がする。例えば、AIが意識を持つならスイッチをオフにするのは殺人か?と言う話題では、「いや、AIには古い脳は無いから恐怖とか感じないから大丈夫だ」というが、そのすぐ後で知能機械を作るには古い脳を持たせることが重要だという。(まあここは古い脳の中で都合のいい部分だけ実装しようという話だが)

他にも、AIのリスクの話の時は「AIロボットは所詮自己複製とか無理だからリスクはない。人類を滅ぼしたりしない」と書いていたにもかかわらず、本の最後では人類が滅んでしまった世界で、人類の知識を引き継いだエージェントロボが自己複製しながら永遠に暮らす世界を想像している。

本の後半では、ジェフ氏は人間がAIに滅ぼされる事よりも、人間自身によって滅ぼされる事の方をよっぽど心配している。人間の古い脳が欲望のままに行動した結果、人類は増えすぎてしまった。その結果、気候変動を巻き起こしている。そして人間の新しい脳によって言語を獲得する事ができたが、そのせいで「気候変動なんてウソだよ」みたいな誤った信念が広まってしまう。

だからジェフ氏は「人類には滅んで欲しくないけど、どうせ滅びるぜこいつらは」とか思ってるのかもしれない。それで人類が滅んだ後に宇宙人あるいは人間の次に進化した生物に対して、人間が存在した事を伝える手段についてアレコレ真剣に論じたりしてるわけだ。

AIは人類を滅ぼさないだろうが、人類が人類を滅ぼす可能性はある。人類滅亡の後で、「かつてここに人間と言う生き物が存在しました」と伝え続けてくれる存在が必要で、それは人間の脳の新皮質を模倣したアーキテクチャを積んだ知能機械になるだろう。ジェフ氏の脳研究の成果はそういう形で永遠に残り続ける。

ジェフ氏は自分の生涯を費やした脳研究の成果を元にして生まれるだろう知能機械、AGIに人類を滅ぼす悪者になってほしくなかったのかもしれない。それは何らかの形で人類の希望であって、永遠に残る物になって欲しかった。そうした願いが本の中のちょっと矛盾っぽい部分を生んでいるのかもしれない。