WebLLM を使って Qwen2.5-1.5B のブラウザ上でのローカル実行を試す
「WebLLM」を使って「Qwen2.5-1.5B」のブラウザ上でのローカル実行を試したのでまとめました。
1. WebLLM「WebLLM」は、「MLC」の技術を活用してWebブラウザ上でLLMを実行できるようにするプロジェクトです。
これにより、ユーザーはローカルのGPUリソースを活用して、プライバシーを保ちながらLLMと対話できるようになりました。
2. WebLLM での実行WebLLM での実行手順は、次のとおりです。
(1) Node.jsの準備。
(2
