Scale weight normsとdropoutの数値

kohya_ssでLora併用時に画像が崩れるのを抑えると書かれているScale weight normsとdropoutの数値ですが学習率にも影響を与えているのか想定した通りのLoraが制作できない場合が有ります。Network Rank (Dimension)とNetwork Alphaの数値のバランスの他にLearning rateの調整も今後の課題となってきます。