最適化喫茶1:機械学習における陰関数微分の利用(2レベル最適化・ハイパーパラメータ最適化)
前置き数学の記事を試しに書いてみたいという動機だけで書き進めたので、内容は大雑把で抽象的なのはご容赦(必要あれば修正します。質問も気兼ねなくどうぞ)。
最近、機械学習の分野で陰関数微分を使った経験残差の最小化が注目を浴びている。具体的にどういう問題を考えているのかというと、ハイパーパラメータチューニングで使われるメタ学習と呼ばれる類のモデルである。このモデルは学習を上位レベルと下位レベルに分け、上位はハイパーパラメータを最適化する問題を解き、下位はハイパーパラメータを含む学