シンプルなRaspberry PiでLLMを実行する方法

本記事については生成AIを活用して生成された記事となります。解説内容の正確性については読者ご自身でご確認いただきますようお願いいたします。

本記事はRunning an LLM on a simple Raspberry Piの解説記事となります。

AIと特にLLM（大規模言語モデル）への関心が高まる中、私はRaspberry Piという通常は想定されていないプラットフォームでこれらのモデルの一つを実行するというアイデアに魅了されました。この記事では、Raspberry PiでLLMを実行するための手順と実験結果について詳しく説明します。

Raspberry Piの選択

モデルと理由

Raspberry Pi 5モデル（8GBのRAMを搭載）を選びました。理由は2つあります。LLMの動作にはCPUとメモリリソースが非常に必要であることと、選んだ実装がx86アーキテクチャとArm64でのみ動作するためです。Pi 4でも十分であったかもしれませんが、メモリサイズが制限されているためPi 5を選択しました。

LLMの選定

ローカルでの実行

今回のテストは、LLMをRaspberry Pi上でローカルに実行するもので、クラウドのサーバーにアクセスするものではありません。利用可能な言語モデルは多数あり、その中でOllamaというMITライセンスのフリーツールを使用しました。このツールは、Linux、Windows、MacOSでLLMを読み込み、実行することができます。

インストールとテスト

Raspberry Pi OSとOllamaのインストール

最新のRaspberry Pi OS（64ビット版、Debian 12ベース）をインストールし、Ollamaのインストールは非常に簡単でした。スクリプトをダウンロードして実行するだけで、インストールが完了します。OllamaはNVIDIA/AMD GPUを検出しない場合、CPUのみで動作することを警告しますが、Raspberry PiにはGPUがないため、これは問題ありません。

実験結果

実行と性能評価

Phi-3モデル（3.8Bと14Bのパラメータを持つ）の最初のテストでは、Raspberry PiのSDカードにモデルを記録し、準備が整いました。簡単な質問でテストすると、約10秒でモデルを読み込み、質問に答えることができました。回答の質は高く、数分間で複雑な質問にも対応できることが示されました。

結論

小規模システムでのLLMの実行可能性

この実験の目的は、LLMがRaspberry Piのような比較的小規模なシステムでも使用可能かどうかを確認することでした。その結果、縮小されたサイズのモデルでも非常に良い回答が得られ、他の組み込みシステムでもこの実験を拡張する価値があると感じました。エネルギー消費も非常に少なく、数十秒間の使用で27Wしか消費しないため、非常に効率的です。

♯生成AI