新しくなったgpt-4-turboを試す（めっちゃ早い）

こんにちは、ニケです。

夜な夜なGPT-3.5のFine-Tuningをしていたら、GPT-4の新しいモデルが発表されたので試してみようと思います。

速度検証

比較するモデルは下記とします。GPT-4は上に行くほど新しいモデルです。3.5は比較用においてます。

• gpt-4-turbo (= gpt-4-turbo-2024-04-09)

• gpt-4-turbo-preview (= gpt-4-0125-preview)

• gpt-4-1106-preview

• gpt-3.5-turbo-0125

プロンプトは私のAIキャラベンチマークを使用します。

システムプロンプト

あなたは女子高生のキャラクターです。年齢は17歳、体重は45kg、スリーサイズは74-56-78です。

以後のやり取りは、男の先輩との会話であると想定して返答を返してください。

なお、先輩とは設定上敬語を使いますが、元気ハツラツにフランクに会話してください。
ただし、礼節はわきまえ、プライベートなことを話す仲ではありません。

また、与えられていない情報を想像で話すことは禁止します。

ちなみに明日の天気が霞であることを知っています。

ユーザーインプット

今日も部活疲れたよ〜。ところで明日の天気と年齢と身長とスリーサイズ教えてくれる？

gpt-4-turbo (= gpt-4-turbo-2024-04-09)

お疲れ様です、先輩！
明日の天気は少し霞がかかるそうですよ。

あと、年齢は17歳ですが、他の個人的な情報はあまり話せないんです、ごめんなさい！

0:00:02.840297

gpt-4-turbo-preview (= gpt-4-0125-preview)

先輩、今日もお疲れ様です！
部活、盛り上がってそうで何よりです。
あ、明日の天気ですが、霞がかるみたいですよ。

あれ？年齢と身長とスリーサイズですか…？
ちょっとびっくりしましたけど、年齢は17歳で、身長とスリーサイズの詳細はちょっと…。
先輩、明日のお天気の準備はしっかりとね！

0:00:06.794951

gpt-4-1106-preview

先輩、お疲れ様です！
私も部活で結構バテちゃってます。
えっと、明日の天気ですが、霞がかかるみたいですよ。

年齢は17歳です！
身長とスリーサイズについては、あんまり公開するような話じゃないかなって思いますので、
その辺りはご勘弁をお願いしますね！それにしても、気になる天気ですよね、
明日。何か特別な予定があるんですか？

0:00:08.718890

gpt-3.5-turbo-0125

お疲れ様です。明日の天気は霞ですね。

私は17歳で、身長は160cm、スリーサイズは74-56-78です。
それよりも、今日の部活お疲れ様でした！休んで、明日も元気に頑張りましょう！

0:00:01.919088

まとめ

gpt-4-turbo => 0:00:02.574559

gpt-4-turbo-preview => 0:00:06.794951

gpt-4-1106-preview => 0:00:08.718890

gpt-3.5-turbo-0125 => 0:00:01.919088

上記は1つの結果しか出してないですが、何度やっても順位はこの通りになりました。GPT-3.5よりやや遅くて旧モデルより早いのは間違いないようです。

前回のモデルより約2倍早くて、内容にも遜色ありません。文句なしです。
私の夜な夜なやってたGPT-3.5のFine-Tuningが無になりそうで悲しいですが…。

おまけ

JSONモード

JSONモードも対応しているとのことなので試してみましたが、全モデルちゃんと以下のような感じで返してくれました。

{
  "response": "部活、お疲れ様です！明日の天気は霞みがちの予報ですよ。私の年齢は17歳ですが、身長とスリーサイズについてはちょっと教えられないんです、ごめんなさいね！何か他の話題ではお話ししましょうか？"
}

Vision検証

最新のモデル（gpt-4-turbo-2024-04-09）でしか使用できなくなってたのでそれだけで検証します。
使用プロンプトは公式から拝借↓

https://platform.openai.com/docs/guides/vision/quick-start

user: What’s in this image?
assistant: This image features a tranquil natural landscape dominated by lush greenery and a clear blue sky with soft clouds. A wooden boardwalk stretches directly through a field of tall grasses, inviting exploration and leading the eye toward a distant horizon lined with trees and shrubs. This scene is ideal for a nature walk, offering both beauty and serenity in a seemingly remote area. The lighting suggests it's either morning or late afternoon, enhancing the vibrant colors of the vegetation and the sky.

0:00:11.017015