汎用ＡＩはヒトを殴る夢を見るか

　今、人工知能が非常に注目されています。2012年の画像認識コンテストで、深層学習（Deep Learning）というやり方が圧倒的な精度を達成し、3回目のブームに火がつきました。ブームを受けて、人工知能がヒトという種を超える可能性やその時期についての議論も盛り上がっています。

　現在の人工知能は将棋や囲碁、自動車の運転といった特定の仕事を人間より上手くこなすようになりつつあります。しかし実のところ、その仕事しか出来ない極端な専門バカです。それとは違い、人間のように多くの事、新しい事をこなしていける「汎用人工知能」（Artifical General Intelligence）を作り上げようという研究も別途行われています。

　汎用人工知能がヒトの脳の限界を超える瞬間を、技術的特異点（Technological Singularity）と言い、そんな日は来るのか？いつ来るのか？我々はどう備えるべきか？が議論を呼んでいます。名付け親のレイ・カーツワイルは、議論を提起した2005年当初、それは2045年であると予測し、2017年3月の講演では予測を2029年に早めたそうです。そんな日は来ないという論もありますが、以下では、いつか来かねないものとして話を進めます。

「まずいことはやらない」を達成するには

　一定の汎用人工知能が出来たとしましょう。人間や他のコンピュータとやりとりするための通信機能なり対話機能を備え、何かしらの体も持つかもしれません。私はその人工知能さんに頼みます。「私の代わりにこの原稿を書いておいてくれないか」…勝手にいろいろと調べ物をして、原稿を仕上げてくれたとします。

　人工知能も、人間と同様、目標達成のためなら何をしてもいいというわけではありません。原稿執筆のための調査に私の全財産を遣ってきたとか、誰かを殴ってきた、ということでは困ります。やって欲しくないことをさせないためには、当初は、その能力を持たせなければ済みます。銀行口座にアクセスできなければお金は遣えませんし、体なり腕なりがなければ人を殴ることは出来ないでしょう。しかしそれでは、いつまで経っても人工知能さんの出来ることが広がりません。腕がなければ人は殴れませんが、同時に、人間の道具でお茶をいれることも出来ないでしょう。「能力は持ちつつ、でも、まずいことはやらない」という目標を達成するためには、人工知能さんにも私や世間の常識、つまり行動規範を解ってもらう必要がありそうです。

　行動規範のすべてを人手で教えてあげるのは無理です。きりがありません。とすると、人工知能さん自身に学んでもらう必要があります。どうしたら、お金は大切に遣うべきだとか、人は殴ってはいけない、といった行動規範を身に付けてもらえるでしょうか？

行動規範の土台となる「快・不快構造」

　ここで我々自身を振り返ってみます。例えば、自分にとって邪魔な相手と会ったとします。挨拶もせずに、殴りかかるでしょうか。

　殴った場合には、その瞬間は快さを感じるかもしれませんが、その後に相手からの反撃や社会的な制裁といった不快な状態がやってくることが容易に予想できます。そんないろいろを考えて、殴るのは止める、というわけです。「いや私にはもっと高尚な理由がある」という方もいらっしゃるでしょうが、その理由に準ずることが快であったり違反することが不快だから殴らない、という点では同じことです。つまり我々は、快・不快やその未来予測に基づいて行動を決めて、生きています。何に快さを感じ、何を不快に感じるか、快・不快構造とでも呼ぶべきものがその人の行動を決めています。

　汎用人工知能に私や世間の行動規範を身に付けてもらうために、快・不快構造を持たせるという方法がありそうです。行動規範を身に付けるということは、人間と同様の快・不快構造を獲得することに当たります。何の快・不快構造も与えずにゼロから学習させる方法も、ヒトの本能に当たる快・不快構造くらいは与えてスタートさせる方法もあるかもしれません。いずれにせよ、人を殴らない、といった行動規範を身に付けさせるには、どういう快・不快構造を与え、それを元にどう学習させていけばいいのか、という研究が要りそうです。

　また、対話機能なり身体なりがないと、それらをうまく使った学習が出来ませんので、仮想世界を用意してそこで学ばせたり、進みに応じて能力を与えてたりしていくことになるでしょう。まるで人間の子供ですね。

汎用人工知能が、より知的な人工知能を作る

　汎用人工知能について警告する人もいます。例えばビル・ジョイは、2000年の時点ですでに、賢いロボットやナノテク等の発展が人類の存続を脅かしかねないという警告をしています（"Why The Future Doesn't Need Us," Wired, Issue 8.04, April 2000）。実は私も同じ考えです。とはいえ、氏が主張したような研究の放棄（relinquishment）は実効性が怪しいので、人類を脅かさないよう上手に発展させる方法なり研究プロセスなりの方に頭を使いたいものです。

　技術的特異点への道筋として、汎用人工知能が自身より知的な人工知能を作れるようになって爆発的に発展する、というシナリオが有力視されています。このシナリオに潜在的な危険があると私は考えています。自己発展させるには、