![見出し画像](https://assets.st-note.com/production/uploads/images/136121948/rectangle_large_type_2_5450dedb6d05a6d4b31674a862e10768.png?width=1200)
MLX Swift による LLM のオンデバイス推論を試す
「MLX Swift」による「LLM」のオンデバイス推論を試したので、まとめました。
1. MLX Swift
「MLX Swift」は、Swiftから利用できる「MLX」で、「MLX」は、Appleが開発した新しい機械学習フレームワークで、「Apple Silicon」(M1/M2/M3など) を最大限に活用するように設計されています。
・サポートするプラットフォーム
・Mac
・iOS
・visionOS
2. iOSのデモアプリの実行
iOSのデモアプリの実行手順は、次のとおりです。
(1) 以下のXcodeプロジェクトをダウンロードして実行。
初回は、モデルダウンロードに時間がかかります。
MLX Swift で iOS上でのオンデバイスLLM推論をお試し中。https://t.co/kG08VCYZvF pic.twitter.com/KIZglmPXPk
— 布留川英一 / Hidekazu Furukawa (@npaka123) March 30, 2024
(2) 必要に応じてでモデルを切り替え。
ControlViewの150行目で切り替えることができます。
let modelConfiguration = ModelConfiguration.phi4bit
↓
let modelConfiguration = ModelConfiguration.mistral7B4bit
・mistral7B4bit
・codeLlama13b4bit
・phi4bit
・qwen205b4bit
手持ちの「iPhone 12」の6GBでは、「Mistral 7B 4bit」は動作しませんでした。「iPhone 15 Pro」であれば8GBなので動くと思われます。
関連
この記事が気に入ったらサポートをしてみませんか?