DeepLearningの父 ヒントン教授が新アルゴリズム発明

最近、FFアルゴリズムに関する論文が発表されました。このアルゴリズムは、トロント大学の教授でありGoogle BrainのエンジニアリングフェローでもあるGeoffrey Hinton氏によって提唱されました。

Hinton氏は、このアルゴリズムを開発する動機として、バックプロパゲーション学習の欠点である、微分の計算とアクティベーション値の保存のためにフォワードパスの計算を完全に理解する必要があることを挙げています。Hinton氏の洞察により、目的関数を最適化するために、ポジティブな入力データのフォワードパスとネガティブな入力データのフォワードパスの2つが必要であることが明らかになりました。

Hinton氏は、FFアルゴリズムを用いて訓練されたネットワークが、バックプロパゲーションを用いて訓練されたネットワークと同程度にコンピュータビジョン（CV）タスクを実行できることを示しました。Hinton氏は以下のように述べています。

FFアルゴリズムは、バックプロパゲーションと同程度の速度で動作することができますが、Forward計算を完全に正確に行わなくても使用することができる利点があります。また、ニューラルネットワークを通して連続的なデータをパイプライン処理しながら学習することができ、ニューロン活動を保存したり、誤差微分を伝播するために一時停止する必要がありません。
FFアルゴリズムは、大脳皮質における学習のモデルとして、また、強化学習を必要とせずに低コストでアナログハードウェアを利用する方法として、バックプロパゲーションよりも優れていると考えられます。

最近、Geoffrey Hinton氏は、バックプロパゲーションの代わりにForward-Forwardアルゴリズム（FFアルゴリズム）を使用するニューラルネットワークのトレーニング手法に関する論文を発表しました。Hinton氏は、バックプロパゲーション学習の欠点である、学習中に微分を計算しアクティベーション値を保存するために、フォワードパスでの計算を完全に把握する必要があることに対処することを目的としてFFアルゴリズムを開発しました。Hinton氏のアルゴリズムは、ポジティブな入力データのフォワードパスとネガティブな入力データのフォワードパスを使用して、最適化すべき目的関数を更新します。Hinton氏は、FFアルゴリズムを使用したネットワークがバックプロパゲーションを使用したネットワークと同等の速度でコンピュータビジョン（CV）タスクを実行できることを示しました。

Hinton氏は、FFアルゴリズムが、Forward計算を完全に正確に行わなくても使用できる利点があること、またニューラルネットワークを通して連続的なデータをパイプライン処理しながら学習することができることを強調しています。FFアルゴリズムは、大脳皮質における学習のモデルとして、また、強化学習を必要とせずに低コストでアナログハードウェアを利用する方法として、バックプロパゲーションよりも優れていると考えられます。

一方、バックプロパゲーションは、人工ニューラルネットワークの学習に広く使用されていますが、生物学的にありえないことに基づいており、計算上の欠点もあります。Hinton氏は、強化学習を使用してANNをトレーニングする方法を提案していますが、大規模なネットワークではスケールできないという問題があります。一方、2021年には、バックプロパゲーションの代替手段として、生物学的に妥当なゼロ発散推論学習（Z-IL）が紹介されました。