ローカルLLMを動かすOllamaをGoolge Colabで動かす方法

Ollamaの紹介

Ollamaとは、ローカルLLMをローカル環境で動かすためのコマンドツールです。今回、Google ColabでOllamaを動かす方法を見つけましたので、紹介していきます。

こちらの記事を参考にさせて頂きました。

Google ColabでOllamaを使用して話題のCommand R+を動かしてみた - Qiita

OllamaをGoogle Colabで動かす方法

今回は、Google Colabで、ランタイムはTPUv2を選択します。ローカルLLMはllama3を使用します。

!curl https://ollama.ai/install.sh | sh

!echo 'debconf debconf/frontend select Noninteractive' | sudo debconf-set-selections
!sudo apt-get update && sudo apt-get install -y cuda-drivers

import os

# Set LD_LIBRARY_PATH so the system NVIDIA library
os.environ.update({'LD_LIBRARY_PATH': '/usr/lib64-nvidia'})

次に、Ollamaサーバを起動します。

!nohup ollama serve &

次に、ローカルLLMのLlama3をダウンロードします。

!ollama pull llama3

次に、ollamaをインストールします。

!pip install ollama

次に、コードを実行します。今回は、日本語で回答して下さいと付け加えております。

import ollama
response = ollama.chat(model='llama3', messages=[
  {
    'role': 'user',
    'content': '日本でお薦めの観光地を5つあげてください。日本語で回答してください。',
  },
])
print(response['message']['content'])

出力結果

この他にも、ローカルLLMを扱うことができるツールに関して記事を書いていますので、興味がありましたら参考にしてください。

LM Studioは、GUIでローカルLLMを操作したい人向けとなります。

こちらは、自宅のPCでOllamaを使いたい人向けとなります。