Ollama関係の話の続きですが、有名な OpenWebU をインストールしてみました。その覚え書きです。
Open WebUI is ChatGPT-Style WebUI for various LLM runners, supported LLM runners include Ollama and OpenAI-compatible APIs.
GitHubはこちら
私の場合、MacOSなので、それに従ってやってみました。
Ollamaはすでにインストール・常駐しているので、Docker Desktopをインストールします。以下がオフィシャルサイト
ということで、Open WebUIが確実に動くためのものだそうです。
普通にダウンロードして、インストールです。途中サインインするかどうか求められましたが、サインインせずに続けました。
立ち上げて、無事に動くことを確認します。
次に、Ollama のバージョンは最新であることを確認して次に進みます。
次は、terminal で以下のコマンドを実行です。このコマンドは一回実行するだけです。
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
Docker desktop でこんな画面になったと思います。
PortのところのURLをクリックするとブラウザーがたちがって、Open WebUIの画面が立ち上がります。
Sign upでアカウント(氏名・Email ・Password)を入れて使えるようにします。
あとは、ほとんどChatGPTと同じ画面なので迷わないと思います。左端のボッチを見逃さなければ大丈夫でしょう。
Promptsを取り入れたり、Documentsを入れてそれにそった応答させるとか、いろいろとできるみたいです。おいおい試してみたいとは思います。
Setting画面は以下。System Promptも入れられます。
Advancedはいろいろパラメータの設定も可能みたいです。
ModelではOllama上のモデルが選べます。ollamaのライブラリにあるモデル名(例えば、solar )を入れるだけで、pull ができます。モデル削除もできます。
Externalは以下のように、OpenAI API Keyを入れたら、そのままGPTのいろいろが使えるようです。
試していませんが、STTもTTSもできます。
Conversation mode をonにして、マイクを押すとSTTが動きます。また3秒の空白時間で自動でsubmitされます。TTSの場合、日本語でも英語でも、すべて出力表示されてから、日本語で発話されました。
Interface, Chats, Accountはそのままの内容なのでお好みで変更すればいいと思います。
普通に、Ollamaをバックエンドとして動いてくれました。日本語も何も問題なく表示されます。日本語入力も変な挙動はせずにスムーズに変換・確定・送信ができました。
気になったのは終わり方ですが、どこにも説明がありませんでした。
ChatGPTに聞いて、シンプルなのは、Docker Desktop の 右端あたりのActions で止めたり、動かしたりできるということです。
あと以下のように Terminalでのコマンドでも停止、スタートできるようです。
ちなみに、Dockerは Ollama と同じように常駐してる感じになのかもしれません。
細かい設定をしたいとか、ローカルLLMと同時に OpenAI のapiを使ってみたいとか、いろいろしてみたい人には良いユーザーインターフェースだろうなと思いました。
関連して、以下のサイトとコミュニティで、いろいろなプロンプトが共有されているようです。Shareしたり、Importして使ったりできるようです。
多機能・高機能なので、自分が使いこなせるか分からない感じで凄いです。
利用方法の詳しい日本語解説があったらぜひとも読みたいところです。
#AI #AIとやってみた #やってみた #ローカルLLM #Huggingface #Olllama #ChatGPT