Core ML版 Llama 2 7B と Falcon 7B をiOS/macOSオンデバイスで動かしてみた
Hugging Faceの以下のブログ記事が大変おもしろかった。
ざっくりいうと「LLMモデルをCore ML化する際に自前でcoremltoolsでやると非常に大変なので、そのへんをいい感じにやるツールを公開しました」という内容の記事なのだけど、
"Released Today" に
とあり、既にCore MLに変換済みのLLMモデルが公開されている。
変換ツールも試してみたいがまずは公開済みのモデルを動かしてみよう、ということでそれらをiOS / macOSで動か