見出し画像

iOS・Android の ローカルLLM実行環境まとめ

npaka

iOS・Android の ローカルLLMの実行環境をまとめました。


1. iOS

1-1. Llama.cpp (gguf)

「Llama.cpp」の「example/llama.swiftui」で、iOSでggufを実行するプロジェクトが提供されています。モデルはHuggingFaceの「TheBloke」「mmnga」などで数多く提供されています。ただし、メモリ制限のため小サイズのモデルに限られます。

1-2. MLX

「mlx-swift-examples」の「LLMEval」に、iOSでMLXを実行するプロジェクトが含まれています。モデルはHuggingFaceの「MLX Community」などで数多く提供されています。ただし、メモリ制限のため小サイズのモデルに限られます。

1-3. TensorFlow Lite (tflite)

「MediaPipe」の「LLM Inference」に、tfliteを実行するプロジェクトが含まれています。モデルは「Gemma 2B」「Phi 2 2B」「Falcon 1B」「Stable LM 3B」をサポートしています。

1-4. CoreML (mlmodel)

「HuggingFace」の「swift-transformers」に、iOSでmlmodelを実行するプロジェクトが含まれています。モデルは自分でtransformersモデルをmlmodelに変換する必要があります。

2. Android

1-1. Llama.cpp (gguf)

「Llama.cpp」の「example/llama.android」で、Androidでggufを実行するプロジェクトが提供されています。モデルはHuggingFaceの「TheBloke」「mmnga」などで数多く提供されています。ただし、メモリ制限のため小サイズのモデルに限られます。

1-2. TensorFlow Lite (tflite)

「MediaPipe」の「LLM Inference」に、tfliteを実行するプロジェクトが含まれています。モデルは「Gemma 2B」「Phi 2 2B」「Falcon 1B」「Stable LM 3B」をサポートしています。

1-3. Android AI Core

「Android AI Core」は、「Gemini Nano」への簡単なアクセスを提供する 「Android 14」から導入されたLLMの実行環境です。「AI Core」はモデル管理、ランタイム、安全機能などを処理し、AIをアプリに組み込む作業を簡素化します。現在、「AI Core」はいくつかのGoogle製品でのみ利用されています。


この記事が気に入ったらサポートをしてみませんか？