llama.cppのexampleで遊んでみた→XcodeでiPhoneプレビューでローカルLLMを動かす

llama.cppをクローンしたときにexampleというフォルダが入っていて
ここにお試しみたいなアプリが入っています。
その中の

こちらをXcodeでビルドして遊んでみました。

llama.swiftui.xcodeprojをXcodeで開いてビルドするとシミュレーター画面が出てきます

View Modelsをタップしてみましょう

ローカルモデルをダウンロードする画面になります。
Download済みの tinyllama-1.1bがあるので使ってみます
タップすると選べるはずですが何も反応ありませんが
気にせずバックを押して戻ります

こんな感じになってたらロードできてます

おはようと打ってみました。
会話できてますね＾＾
これは実機で試してみたくなる・・・！

日本の歴代総理大臣を新しい順に３人述べよと言った結果。

ちなみに生成速度でてますが108 token/seconds
ってめちゃめちゃ早いです
僕のM2MAXのパワーで出ているので
実機で試すとどのくらいのスピードになるか気になりますね！