StripedHyena-7B の概要
「StripedHyena-7B」の概要をまとめました。
1. StripedHyena-7B
「TripedHyena 7B」は、短期および長期コンテキストの評価において最高のオープンソース「Transformers」と競合する代替モデルです。長さ32k / 64k / 128kのシーケンスでのエンドツーエンド学習において、 >30%、>50%、>100% 高速です。Hyenaオペレータに配置されたアテンションとゲート畳み込みのハイブリッドになります。
明らかな利点は、長いコンテキストでモデルをファインチューニングできます。長さ 128k のタスクの場合、同じ予算でTransformerの2倍以上のトークンでファインチューニングできます。
マルチモーダルのサポートとRetrievalパイプラインへの統合が近日中に予定されています。
2. StripedHyena-7B のモデル
現在提供されている「StripedHyena-7B」のモデルは、次の2つです。
3. StripedHyena-7B を試す
「together.ai」のサイトで試すことができます。
Google Colabでの実行は、以下の記事で紹介しています。
関連
この記事が気に入ったらサポートをしてみませんか?