Attention機構を改めてしっかり押さえておく必要があるなーと感じて、同じチームの同僚が書いたブログ記事を読み進めている。英語ではあるがステップバイステップですごく丁寧に書かれていて読みやすい。
https://vijaydaultani.github.io/blog/2021/10/08/demystifying-attention.html