Noteで数式が書ける
ようになったと聞いて4年ぶりにやってきました。
数式記法の使い方
$$
\begin{align*}
q &= xW_q, & k &= xW_k, & v &= xW_v
\end{align*}
$$
$$
\begin{align*}
\text{score} &= \frac{qk^T}{\sqrt{d_k}} \\
\text{Attention}(q, K, V) &= \text{softmax}(\text{score})v \\
\text{MultiHead}(Q, K, V) &= \text{Concat}(\text{head}_1, ..., \text{head}_h)W_O
\end{align*}
$$
この記事が気に入ったらサポートをしてみませんか?