見出し画像

Google AI StudioでLLM比較


Google AI Sutdioの紹介

以前、Google AI Studioの記事を書いた時から使用可能なLLMの性能が上がりましたので今回試してみます。Google AI Studioとは何ぞやという人は以前の記事ですが参考になるかと思います。

この時から少しインタフェースが変わっているようですが、大まかなところは変わっていないのではないかと思います。


Google AI StudioでLLM比較

今回は、GoogleのGemini 1.0 Pro、Gemini 1.5 Flash、Gemini 1.5 Proの3つのLLMについて比較したいと考えています。


現在使えるLLM

現在は、Gemini 1.5 FlashとGemini 1.5 ProはPREVIEW版なので使うことができます。

では、色々と質問をしていきます。

最初は、各々のモデルに自己紹介をしてもらいます。各LLMを使うときは、該当のLLMに変更しています。

Gemini 1.0 Pro


Gemini 1.5 Flash



Gemini 1.5 Pro

普通に使用モデル情報も持っているかと思いましたが、Gemini 1.5系は持っていないようですね。

コード能力はどのくらいかを知りたいので、GeminiのAPIキーを利用したStreamlitのコードを書いてもらいます。次のようなPromptを入力します。

GeminiのAPIキーを利用するStreamlitのコードを書いて下さい。ユーザが入力フォームに何か質問を入力して、Enterボタンを押すとGeminiのAPIキーを利用して出力結果をStreamlit上に表示するコードを書いてください。


Gemini 1.0 Pro


Gemini 1.5 Flash

Gemini 1.5 Flashだとエラー処理も実装されていますね。


Gemini 1.5 Pro


Gemini 1.5 Pro

Gemini 1.5 Proですとコードもエラー処理されていますし、APIキーをコードに直打ちするのではなくセキュリティを高めたコードが作成されています。また、その使い方も案内しています。

例が1つしかないですが、コードに限って言えば、Gemini 1.5 Proはセキュアなコードを提案していますね。


リアルタイムな情報は取得できないと思っていますが聞いてみました。


Gemini 1.0 Pro


Gemini 1.5 Flash


Gemini 1.5 Pro

3モデルとも出来ないことは出来ないと提示してくれるようですね。

次に、ファイルについての能力を見てみます。Googleのプレゼンテーションを取り込んで、何て書いてありますかと聞いてみます。


質問文


Gemini 1.0 Pro


Gemini 1.5 Flash

ファイルの今後の状況も書いてもらえているのが凄いですね。


Gemini 1.5 Pro

Gemini 1.5 ProもGemini 1.5 Flashと同じような能力を発揮しています。

次に、Gemini 1.5 FlashとGemini 1.5 Proで動画の要約をみてみます。Gemini 1.0 Proにはこの機能は無いようです。


動画に対する質問


Gemini 1.5 Flash


Gemini 1.5 Pro

動画は見ていないですが、Gemini 1.5 Proは何か凄いですね。

この記事が参加している募集

#AIとやってみた

27,741件

この記事が気に入ったらサポートをしてみませんか?