StripedHyena-7B の概要

「StripedHyena-7B」の概要をまとめました。

1. StripedHyena-7B

「TripedHyena 7B」は、短期および長期コンテキストの評価において最高のオープンソース「Transformers」と競合する代替モデルです。長さ32k / 64k / 128kのシーケンスでのエンドツーエンド学習において、 >30%、>50%、>100% 高速です。Hyenaオペレータに配置されたアテンションとゲート畳み込みのハイブリッドになります。

明らかな利点は、長いコンテキストでモデルをファインチューニングできます。長さ 128k のタスクの場合、同じ予算でTransformerの2倍以上のトークンでファインチューニングできます。

マルチモーダルのサポートとRetrievalパイプラインへの統合が近日中に予定されています。

Paving the way to efficient architectures: StripedHyena-7B, open source models offering a glimpse into a world beyond Transformers

2. StripedHyena-7B のモデル

現在提供されている「StripedHyena-7B」のモデルは、次の2つです。

・togethercomputer/StripedHyena-Hessian-7B : ベースモデル
・togethercomputer/StripedHyena-Nous-7B : チャットモデル

3. StripedHyena-7B を試す

「together.ai」のサイトで試すことができます。

【翻訳】
Q: まどか☆マギカでは誰が一番かわいい?
A: アニメシリーズ『魔法少女まどか☆マギカ』では、かわいさの要素は主観的なものであり、人によって異なる場合があります。 しかし、キャラクターデザイン、性格、全体的な外観に基づいて、多くのファンは暁美ほむらというキャラクターが最もかわいいと考えています。
ほむらは主人公の使い魔である魔法少女です。 彼女は低身長、ピンクの髪、そして真面目な態度で知られています。 強面な外見とは裏腹に、特に主人公のまどかに対しては優しく思いやりのある心を持っています。 彼女のキュートな外見と、友人を守るための揺るぎない忠誠心と献身がファンのお気に入りとなり、シリーズで最もかわいいキャラクターと考えられています。

TOGETHER

Google Colabでの実行は、以下の記事で紹介しています。

関連

【PDFダウンロード版】OpenAI GPT-4V／ChatGPT／GPTs 人工知能プログラミング実践入門 - ボーンデジタルオンラインブックストア