Photo by
hananosu
【Xcode】ローカルLLMをiPhoneの実機で試した！！
前回の記事の続きです
https://note.com/flymywife/n/nf898cff3fb6e
上記の記事を参考に実機テストができました（＾＾）
iPhoneをプライバシーとセキュリティからデベロッパーモードにしたり
llama.cppが読み込めない原因が信頼ボタンクリックしたりしましたが
なんとかできました！
当方iPhone SE3であります！
19 token/s は思ったより早いです。
1.1Bという小さいモデルだからできるスピードかもしれませんが
感覚的に普通に会話してる感じでした。
これはローカルLLM on iPhoneに期待が持てます。
しかし会話は合ってないですね
日本語はきっと得意ではないでしょう
もう少しパワーあるモデルと会話したくて
Mistral 7Bを入れてみました。
おはよう
と打って会話を試みたところ
返答が来たかと思ったら画面がかたまっちゃいました。
ちょっと重すぎたみたいです。
日本語が苦手そうなので
hello
と打ってみました
が
返答は来なかったです。
多分
iPhone搭載のAppleシリコン自体の速度は悪くないけど
キャッシュとかメモリとかがPCに比べて少ないから
メモリが溢れると固まっちゃうんだと思います。
しかし小さいモデルであれば
実用レベルの速度で動くことがわかってよかったです！
この記事が気に入ったらサポートをしてみませんか？