バックプロパゲーション（誤差逆伝播法）とは？

「ディープラーニング」とは、人間の神経系を参考に作られた「ニューラルネットワーク」と呼ばれるアルゴリズムを使った機械学習アルゴリズムのことです。
ニューラルネットワーク自体は、1950年代から形式ニューロンやパーセプトロンという形で話題になり第1次AIブームの立役者となりますが、1960年代後半には原理的な限界が指摘され、1970年代には終わった手法として一度は忘れ去られてしまいます。それでも一部の研究者たちは研究を続け、2000年代までにいくつかの重要な技術が考案されました。

その中でも、ディープラーニングの登場に一役買ったのが「ニューラルネットワークの多層化」、「バックプロパゲーション（誤差逆伝播法）」、「オートエンコーダ」です。
今回は、ニューラルネットワークの多層化と、バックプロパゲーションについて説明します。

　まず、ニューラルネットワークにおける重要な進化が「多層化（深層化）」です。

人間の脳もそうですが、神経ネットワークは巨大で複雑な方が高度な思考を実現できます。

ニューラルネットワークの層が増えることによって、扱える次元や軸が増えると考えると良いでしょう。
たとえば、二次元の図形や直線の数値でしか物事を理解できなかったAIが三次元や曲線の数値も扱えるようになるというイメージです。これによって、研究初期の原理的な限界を超えることに成功し、新しいステップに進むことに成功しました。
ただ、実を言うと「多層化すればニューラルネットワーク限界は超えられる」というのは最初から分かっていました。

しかし、ニューラルネットワークの誕生当時はコンピュータの性能に限界があり、小規模なネットワークしか実現できなかったのです。

そのため、多層化の可能性を検証するには、コンピュータの性能が向上する1980年代まで待たなければなりませんでした。

　しかし、多層化によってニューラルネットワークが複雑で巨大になったことである問題が発生します。
ニューラルネットワークは情報ネットワークの核にあたる「ニューロン」同士のつながりにそれぞれ「重み」を設定し、その数値を上手に調整しながら、計算に最適なネットワークを作り出し、問題に対して最適な回答を出すという仕組みのアルゴリズムです。
この重みの数値を変更する作業を「重み付け」と呼ぶのですが、この重み付けが多層化によって難しくなってしまったのです。
　要するに、ニューラルネットワークの学習能力のキモである「重み付けを最適化することによって性能が向上する仕組み」が多層化すると、機能しなくなるということです。

それでは本末転倒なのですが、それを解決したのが「バックプロパゲーション」と呼ばれるアルゴリズムでした。

　こうして、ディープラーニングを完成させるには「ニューラルネットワークの多層化」と「バックプロパゲーション（誤差逆伝播法）」だけでは足りないことが分かりました。
　この状況の打開に寄与した「オートエンコーダ」については次回解説しますが、今回紹介した2つの技術は現代でも改良が続けられているニューラルネットワークの中でも非常に重要な要素です。
　ニューラルネットワークの層は数百層を越えるのが当たり前になっており、非常に複雑な情報を扱える一方で、計算に必要なリソースは莫大なものになっています。

 また、バックプロパゲーションも進化し続けています。誤差を修正するための関数やアルゴリズムが多数登場し、問題に応じて適切な誤差の修正法を選ぶことでさまざまな問題に応用できるようになっています。
　ディープラーニングにおいてはどちらも非常に重要な技術となりますので、ある種の常識として頭に入れておきたいところですね。

※ メール・BLOG の転送厳禁です!!  　よろしくお願いします。