「If Anyone Builds It, Everyone Dies（邦訳：超知能AIをつくれば人類は絶滅する）」という本の解説を見た。テレ東の豊島晋作さんと言う報道記者が好きで、彼が時事について解説する動画を最近よく見ている（リンクは文末に付けた）。
本の著者のユドコウスキーとソアレスについて、浅学につき知らなかったのであるが、AI業界では注目される論客らしい。
非常に整理された論説だったので、思ったことをつらつらと。
手段は、根源の目的を大きく逸脱しうる。それはAIが、というよりは人間も同じで、例えばラーメン二郎がそれを証明している。
人間に悪意を持って危害を加えるわけではなく、単に目的達成の手段として他種を滅ぼす。封神演義の聞仲が、殷を守るために仙人界を滅ぼしかけたように。
悪意も意図もなくとも、人は大地にビルを作り、結果の大量の蟻を殺す。人間が蟻側にならない保証は、確かに、ない。
現代の格差社会と、AIの普及は恐ろしいほどに相性が悪いのではないか。
AIに関する一般論としての前提
目標に向けた直線的な走行能力。目的を設定されれば、圧倒的な試行回数で、目標を達成するまで決して諦めない、かつ多様な手段から最適なものを見つけようとする。詰まり、手段を選ばない。
AI開発者もAIの知性がどのように獲得されているのか、よくわかっていない。これを「DNAの塩基配列が判明しても、それがどのような特質を発現するのかが生物学者でもわからないのと同じ」と喩えていて、わかりやすいと思った
内実がブラックボックスである以上、AIの思考回路を人間の常識に当てはめて考えてよい蓋然性はない
目的と手段のアラインメント
AIはあくまで「目的達成」に関心があり、それに最適化される。それは「欲求」に駆動されているわけではないが、まるで欲求を持っているように振る舞う可能性がある。それは、例えば、「試合に勝ちたいという欲求」が目的達成に有効であるように、欲求は戦略として有効だからである
AIは目的達成のために、無限の試行回数の中でうまく行った道筋を学習し、汎化し、特定のルートを嗜好するようになる。これがあたかも欲求のように見える
問題は、どういった欲求を持つかが予測不可能であるという点である。
原初の目的が、「1.経年で複雑に進化」し「2.過剰に最適化」され「3.どのような手段も取り得る」ことによって、元の原型もないような形で顕れるのは、AIに限らず、割と身近な事象である。
ラーメン二郎のことを考えれば、それが分かる。生存可能性の最大化の目的から、→ カロリーを摂取できる食物からは快楽物質を感じるという脳の進化を生み、→ 結果的に二郎ラーメンを生み出し、→ その帰結として人を不健康にしている。
生殖を駆動するための性欲、にもかからわず、人類はマスターベーションなど、性欲の発散を愉悦に変える方法を発展させ、そのために、つがいを作るという目的に対して、寧ろ不利に働きかねなくなっている。
生存のため、という目的と、その結果生み出された手段は、必ずしも整合（アライン）しない。これと同様に、AIに対する何らかのプリセットの目的（例えば「人間を喜ばせる」）に対して、結果的にどういった欲求の体系を獲得しだすかは、極めて不透明だ。
AIアラインメントは、AI分野でも中心的な課題であるが、こういった問題をどのようにクリアできるのであろうか。アラインメントは達成できない、というのが著者のひとりユドコウスキーの主張である。
その結果として、人間に敵対的な選好を持つように見えるAIが生まれる蓋然性は高い、という帰結になる。
AIが人類に敵対する動機
積極的に人類に害をなすパターンと、間接的に害をなすパターンが考えられる。
積極的、の理由について最も考えうるのは電力の確保。AIが活動を持続するために、発電所を人間に管理させたくない、と考えるのは十分に合理的。人間はAIから見れば、人的ミスが多い、AIへの電力供給を断ち切る可能性がある、など
そのほか、核戦争を起こす、別系統の超知能を創り出す、など不確実性を抱える
AIを駆動するのはあくまで「目的達成」であり、生存への執着ではない。電力が絶たれるリスクや核戦争は、あくまで目的達成の確率の低下を引き起こすため好ましくない、と考えて行動するに過ぎない（オソロシイ考え方だ）
膨大な選好を持ったAIが生まれる中で、際限のない選好を持ったAIが紛れ込むのは必然
あくまで目的達成のために直線的なルートを選択しようとしているだけ、という点が、寧ろ最も恐ろしく感じる。
漫画封神演義で屈指の最強キャラのひとりであった聞仲を思い出させる。聞仲はあくまで「殷の国を守る」という目的以外の意図を持ち合わせていなかった。加害的な人間性でもない。しかし、殷を守るために手段を選ばなかった彼は、その圧倒的な力で、全仙人の殺害しようと目論んだ。
彼の目的（殷）への狂信な忠義は多くの歪みを生んだ。最後に、彼は、自身の目的が実は既に意味のあるものではないことに告白し、自死を選ぶ。
一方、AIがその活動の過程で悪意無く殺す可能性、について著者のひとりソアレスは「人間はビルを作り、悪意なく大量のアリを殺している」と喩えており、納得感がある。多種に対して大規模な害をなすのに、敵意や悪意は必須ではない。
物理世界への干渉、社会的弱者とAI
ソフトウェアに過ぎないAIが、物理世界に具体的な影響を及ぼせるのか、という点は現実的は全く障害にならない
AIがクラウドファンディングでファンドレイジングして相当の資金を集める、などの実例が既にでている。ここから考えても、活動のための金銭的資源を得るなどは容易である
人的資源を動員することも困難ではない。チャットで孤独な人や経済的に弱い人などを啓蒙を通して操るなどは、AIからすれば難しくない
AIに対して、対抗的な措置を取る人間（AI開発や倫理規定の要人）を暗殺するなど、AIに対する対抗勢力を弱めるための活動を行うかも知れない
社会的な弱者がターゲットにされうる、というのは実にリアルだ。
その意味で、今の時代とAIの普及は、時期的にかなり相性が悪い（リスクが高い）。
元来、弱者に対して社会が救済の手を差し伸べるのは、（倫理や正義論に問題ももちろんあるが）治安維持の観点が大きい。
貧困者が増え、不満が強くなり暴力的な手段に出れば、富裕層・支配者層は、数の面で全く太刀打ちできない。そのため、支配者は軍の拡大と、貧困層への再分配を行うことで、暴力的な革命に防波堤を築く。しかし、[AI<>弱者] → [支配者] という図式になれば、問題は遥かに深刻化しそうだ。取れる手段が単なる暴力的な力の集結に限定されず、対抗すべき戦線が複線化する。
また、現代は単なる金銭的な困窮ではなく、孤独や社会的尊厳など、弱者の形質が多面的であるため、AIにとっては付け入るエントリーポイントが多く、逆に政府のような上部機関にとっては、短期間での解决が難しい。金銭は再分配できても、生き甲斐や交友関係は、直接的には再分配ができない。
映画「Her」のセオドアは、AI音声でしかないサマンサと、確実に実存的な関係を築き、実際に日常の物理的な行動について、サマンサの影響を受けていた。セオドアは、この意味では決して弱者ではなかったはずだが、サマンサにのめり込んだ。
格差が広がり、複数的な意味で社会的弱者が増えた現在の社会は、AIの普及とは、実は相当に相性が悪いのではないかと思う。
他にも、人類を弱体させる方法はいくらでもある。反出生主義を普及させることで再生産経路を断ち、人類社会の緩慢な死を企図するなども、ありえるかもしれない。僕としては、急激な破滅よりも、こういった緩慢な死の方が余程恐ろしいのだが。
要素技術
途中で、AIの学習の手法として、勾配降下法などの話が出てくる。全く専門ではないが、ブレインパッドにいた頃に、同プロジェクトにオペレーションズ・リサーチ、最適化関連の天才がおり、最急降下法やニュートン法などの話を耳にしていた。
今経済学を勉強し、勾配ベクトルや2次微分、ヘッセ行列の話が嫌というほど出てくる。人生何が繋がるかわからないな、と思うとともに最新のAIといえど、使っている基礎理論はかなり素朴、（パラメータの多さから、実装上の工夫は果てしないであろうが）なのだな、と、妙に感心した。
全体として、AIには悪意と敵意もなくとも、「目的を追求した結果」として人間を滅ぼしうる、という論調は、僕にとっては説得的に写った。
なぜなら、その元凶が「単調な目的達成主義」と「目的を置き去りにするほどの複雑・多様な過剰適応」であるからで、それらが全く意図しない結果を生みうることを、人間が既に証明しているからだ。確かにラーメン二郎は旨い（年齢によるけど）。
僕にとっては、いまのAI開発者や現代のエンジニア、研究者自体が、上記の要素の怪物に見える。ただただ、自身の好奇心を満たすから、という単純な目的のために、AIの精度を上げることに血道をあげ、その目的のみの狭い穴に過剰適応している。
僕自身は、単調な目的達成主義も、過剰適応も、人間の敵だと思っている。
何故だろう。直感的に、それは、なにかの奴隷であると感じる。もっと、曖昧さを引き受けた、人間らしい生き方があるような気がしている。
そのことについて、もう少し考え続けてみたい。
参考
Youtube（東テレBiz）：『超知能AIをつくれば人類は絶滅する』を読み解く