最適化手法を最適化: GD by GD (LSTM Optimizer)

goose morning; (EleutherAI流の挨拶) 自称研究者の痛い幼気な中学生こと白上です。暇すぎるのでこれから論文紹介をNoteでしていこうと思います。今回紹介する論文は、Google BrainのM.Andrychowicz氏が率いる研究チームによるLearning to Learn by Gradient Descent by Gradient Descentです。2016年にNeurIPS採択なので若干古いですが、私の大好きな論文です。 さて、世の中に