人気の記事一覧

【論文要約】Jamba: A Hybrid Transformer-Mamba Language Model【メモ】

4か月前

🌈また凄い大規模言語モデルが出てきた。 イスラエルのAIスタートアップ企業AI21 labsが「Jamba」を発表。 これまでのTransformerモデルに加えSSMという時系列の推論を得意したモデルを採用したハイブリッド型。 今までの2~3倍の速度で動作。ただし日本語未対応。

Grok-1.5、AI21 LabsのJamba、Pixel 8にAI、Samba-CoE v0.2【AIニュース】

4か月前

Jambaの紹介: Mamba, トランスフォーマー, MoEを組み合わせた、進化したLLM

初Jamba!

3年前