macOSオンデバイスでLLMを動かすアプリの比較 -LM studio, Ollama, etc...

iOSオンデバイスで動くLLMを試すために、LLMFarmというOSSを使ったり、その実装を見たりしていた。

色々調べていくうちに、macOS用のローカルLLMを動かすアプリは他にもたくさんあるようなので、一応どういうものか見てみたメモ。

ちなみに今回はllama.cppベースっぽいものを見てみたが、Core MLモデルに変換したLLMを動かすものもある。それはまた別記事にて。