DeepSpeed-chat + gpt model がdropout 未定義エラーになる件

まだ、調査中。

chat.py にgpt2系モデルを指定すると、Gpt2configにdropoutが未定義と言われるのだが、gpt2configにdropout は定義されておらず、hidden_dropout 等は定義されている。

誰がgpt2configのdropoutを参照しようとしているかを調査中であり、そのうち更新するかも。

この記事が気に入ったらサポートをしてみませんか?