「ディープラーニングの父」に会ってきた

　人工知能（ＡＩ）が快進撃している。グーグルの囲碁ＡＩ「アルファ碁」は世界最強棋士に連勝し、将棋のＡＩ「ボナンザ」も日本将棋連盟のタイトル保持者を圧倒した。音声や画像の認識、外国語の自動翻訳など、さまざまな技術もいまＡＩの力で精度を上げている。

　急成長するＡＩ。土台となる技術が「ディープラーニング」だ。人工神経を何層も重ねたニューラルネットワークで学習を重ね、正しい認識を獲得させる。その中核的な技法として活用されるのが「畳み込みニューラルネットワーク」（ＣＮＮ）だ。今日の飛躍を生み出している。

　世界で最初に、この畳み込みニューラルネットワークをつくりあげた技術者が、日本にいる。ＮＨＫ放送技術研究所にいた福島邦彦さん（８１）だ。1979年、原型となるネオコグニトロンを発表した。日本神経回路学会の初代会長などを歴任し、「ディープラーニングの父」として尊敬されている。

　いまも現役エンジニアとして研究を続ける福島さんを、東京・町田の自宅に訪ねた。

ネオコグニトロンとは

　小田急線の最寄り駅から、徒歩でたっぷり30分。裏手はもう神奈川県境だ。「東京のチベットに、ようこそ」。福島さんが迎えてくれた。
　２階の書斎に、最新のパソコンが３台並ぶ。いまも毎日、ここでプログラムを書き、ネオコグニトロンの改良をつづけている。 

——ネオコグニトロンとは何ですか？

　いまでは「畳み込みニューラルネットワーク」と呼ばれている階層型多層神経回路の一種です。文字認識をはじめとする視覚パターン認識に、すぐれた能力を発揮します。

　1950年代の終わりごろ、ネコの視覚野の神経細胞を研究していた Hubel と Wiesel が、階層的に結合した神経細胞によって情報を処理する方法を提唱しました。この理論に魅せられ、神経回路モデルを作ろうと挑戦したのが自分のスタートです。

　当時、一世を風靡していた神経回路モデルは、Rosenblatt が提唱した「パーセプトロン」でした。多くの研究者が取り組んでいたのが、このパーセプトロンを入力層・中間層・出力層の３層に重ねた処理系です。大量のパターンを学習させて、正しい認識に到達させる試みが続けられました。

　しかし、正しいパターンを人間が機械にいちいち学習させるのは大変な手間です。そこで私は、神経回路全体を自己組織化する方法を考え、「コグニトロン」と名づけました。いまでいう「競合学習」の方法です。

　ところがコグニトロンでは、入力するパターンの位置が少しズレたり、大きさが変わったりするだけで、うまく対応できませんでした。そこで、Hubel と Wiesel が言った「単純型細胞」「複雑型細胞」という考え方をヒントに、この２種類の細胞を組み合わせて何段も階層化させたのです。これが、ネオコグニトロンです。

——まさにディープラーニングですが、違いは？

　ネオコグニトロンでは、特徴を抽出する単純型細胞（Ｓ細胞）のあとに、その出力をとりまとめる複雑型細胞（Ｃ細胞）を置きます。この組み合わせを何層も繰り返して重ねます。

　Ｃ細胞の働きは、いまの「プーリング」と呼ばれている層とほぼ同じです。いくつかのＳ細胞をＣ細胞に結合させます。もしパターンの位置がずれて、同じ特徴量を出力するＳ細胞が変化しても、Ｃ細胞からは同じ信号が出力されます。

　つまり、Ｓ細胞で抽出される特徴量の「位置のズレ」を吸収するのがＣ細胞です。このズレの吸収は、入力パターンが拡大したり縮小したり、あるいは傾いたりといった種々の変形に対しても有効です。

　では今日との違いはなにかというと、学習方法です。畳み込みニューラルネットワークでは「誤差逆伝播法」などを用いますが、ネオコグニトロンでは「Add-if Silent」(AiS)と名づけた手法を使います。AiSでは、Ｃ細胞からの出力に対して反応するＳ細胞がなかったとき、新しくＳ細胞を追加します。

　一般的なディープラーニングのように、大量のデータを入力してそのたびに結合係数を変化させるのではなく、AiSではいったんＳ細胞を形成したあとは結合を変えません。ですから、学習が早く終わる利点があります。

神経回路モデルは、どのように作ったのか

　現在は、こうしたニューラルネットワークは、コンピューター内につくられている。つまり１個１個のパーセプトロンは、実際はプログラムによって動きが定められた計算上のシミュレーションだ。出力される信号なども、コンピューター内で計算された数値として処理している。
　ところが福島さんが研究を始めたころは、実際に１個１個、パーセプトロンを電子部品で作っていた。トランジスタや抵抗器などで大量の電子回路をつくり、リード線でつなぎ合わせ、人間の神経系を再現していた。人の脳内を信号が伝わるように、回路のなかを実際に電気が流れていた。

——人工ニューロンは、当時は「リアルな存在」だったのですね

　私がＮＨＫに入局して取り組んだ研究は、テレビの画像を圧縮して能率よく伝える技術でした。これは現在のパターン認識にも結びつきます。圧縮技術を論文にまとめて博士の学位を受けるころ、ＮＨＫに放送科学基礎研究所が設立され、転勤させてもらい、神経回路モデルに取り組みました。

　神経回路の反応を見るとき、折り紙を切ってつくった数ミリ四方の正方形を大量に用意しておき、細胞からの反応があるたびに人間が一つずつ読み取り、その反応値に合わせて小さな紙を選ぶと、大きな台紙に貼る作業を続けました。しかし、これではさすがに作業量が途方もない。そこで、