![見出し画像](https://assets.st-note.com/production/uploads/images/140098632/rectangle_large_type_2_f0a47a653f14316fd8f09ebae19a5cb9.png?width=800)
Photo by
hananosu
【Xcode】ローカルLLMをiPhoneの実機で試した!!
前回の記事の続きです
https://note.com/flymywife/n/nf898cff3fb6e
上記の記事を参考に実機テストができました(^^)
iPhoneをプライバシーとセキュリティからデベロッパーモードにしたり
llama.cppが読み込めない原因が信頼ボタンクリックしたりしましたが
なんとかできました!
当方iPhone SE3であります!
![](https://assets.st-note.com/img/1715270944274-QnQgspUtuz.png?width=800)
19 token/s は思ったより早いです。
1.1Bという小さいモデルだからできるスピードかもしれませんが
感覚的に普通に会話してる感じでした。
これはローカルLLM on iPhoneに期待が持てます。
しかし会話は合ってないですね
日本語はきっと得意ではないでしょう
もう少しパワーあるモデルと会話したくて
Mistral 7Bを入れてみました。
おはよう
と打って会話を試みたところ
返答が来たかと思ったら画面がかたまっちゃいました。
ちょっと重すぎたみたいです。
日本語が苦手そうなので
hello
と打ってみました
が
返答は来なかったです。
多分
iPhone搭載のAppleシリコン自体の速度は悪くないけど
キャッシュとかメモリとかがPCに比べて少ないから
メモリが溢れると固まっちゃうんだと思います。
しかし小さいモデルであれば
実用レベルの速度で動くことがわかってよかったです!
この記事が気に入ったらサポートをしてみませんか?