MixtureofExperts

書いてみる

関連タグ

#AI (294,876)
#LLM (4,656)
#HuggingFace (417)
#MOE (125)
#人工知能 (192,727)
#大規模言語モデル (2,176)

Mergekitを使ったMoE(Mixture of Experts)作成のテクニック

はち
5か月前

Google Colab：Mergekitによる日本語モデルMoEの作成

はち
6か月前

混合専門家モデル（MoE）：トランスフォーマーの効率とスマートな進化

0xpanda alpha lab
7か月前

OpenAIのGPT-4のアーキテクチャへの仮説：Mixture Of Experts(MoE)による拡張性の高いLLM

鈴木いっぺい (Ippei Suzuki)
6か月前