kani: 軽量LLMフレームワーク
kani (カニ) は、ツールの使用/関数呼び出しを備えたチャットベースの言語モデルのための軽量でハッキング可能なフレームワークです。
LLM用のフレームワークとしてはLangchainが圧倒的にメジャーですが、若干肥大化した印象もありますよね。というわけで、ざっと試食してみます。
kaniの主な特徴軽量設計 最小限のフットプリントで高レベル機能
モデル非依存 OpenAIモデルのほか、LLaMA v2、Vicunaなど
関数呼び出し ロバストなFunction Cal
