Googleの新しい生成AI「Gemini」を使ってみた（５）Geminiは競走馬を識別できるか？
今回は、Googleの新しいマルチモーダル生成AIであるGeminiを試すシリーズです。今回は競走馬について聞いてみます。果たしてどこの馬の骨かもしれない写真をGeminiは見分けられるでしょうか？
Geminiの画像読み込み機能
GeminiはBardから利用できます。Gemini搭載になってBardのプロンプト入力欄には画像を読ませるためのアイコンが付いています。
ここをクリックすると、ファイル選択の画面になり、選択したら読み込まれます。読める画像は１ファイルまでのようです。
今回は撮りためた日本の競走馬を読み取ってもらおうと思います。
まずはもっとも個性的な馬、ゴールドシップでチャレンジ
まずはどんな競走馬を取り上げようと考えてみましたが、やはり色々な特徴のある写真がたくさんある人気馬「ゴールドシップ」で試してみます。ゴールドシップといえば白い馬体だけでも目立つのに数々の奇行を繰り返しユニークな写真が多い馬です。変な顔をした白い馬の写真なら十中八九ゴールドシップです。
写真選びで気にすべきはいくつかあります。
・ゼッケンがないこと・・・読めばわかってしまいます。
・人が写っていないこと・・・判別をGeminiに拒否されます。
背景の人や手や足でも拒否されてしまいます。
競走馬の写真はレース中のものが多いので、実はなかなかいいものがありません。
まずは引退後と思われる全身が写った写真を使ってみます。
判定はしてくれましたが、残念ながらゴールドシップの仔であるレジェンドシップと回答しました。生年も無茶苦茶な回答になってしまっています。
次もめげずに行きます。こんどは牧草地に寝そべるゴールドシップです。もはやこのショット自体が有名と呼べるような写真です。
しかし次も違う答えです。こんどは「アヴェスタ」というアーモンドアイの産駒という回答です。アーモンドアイは牝馬だし、まだ仔は走っていません。「アヴェスター」という馬はいましたが、色もぜんぜん違う地方馬です。
次はゴールドシップの特徴的な「変顔」写真を投入してみます。これはゴールドシップ以外の回答はないかと思います。
回答は「スモモモモモモモモ」との答えでした。これも大井の地方馬で色もなんにも共通性はないです。共通点は（名前が）ふざけていることくらいです。
白すぎて人間扱いのソダシ
次は白馬として人気の「ソダシ」でいってみます。さすがに写真が多いのでちゃんと答えてくれそうです。本気で白い馬体がきれいです。
いくつか写真で試しましたが、肌色部分が人間と判断され答えてくれませんでした。
しかし上の写真は回答してくれました。馬名は「ソダシ」であっています。しかし戦績はおかしいですね。牝馬三冠は獲っていません。
ちなみに上の写真は「フォトパドック」と呼ばれる写真です。これはネットやスポーツ新聞、競馬の専門雑誌などで馬体を横から撮影した写真でこれはきれいに全身が写っていて、かつ人間がまったく写っていません。
フォトパドックで聞くと調子いい
次は検索にフォトパドックの文字を入れて検索した結果を使うことにしました。「ジオグリフ」「ガイアフォース」で試してみました。
ジオグリフの回答ではやはり戦績はでたらめでした。皐月賞は獲っていますが、菊花賞は獲っていませんし、2024年1月3日にはチャンピオンCどころか金杯も開催されていません。なんかスクショの日付を読んでいるっぽいですね。
一方、ガイアフォースの方は画像に写っていなはずの文字を読んで「マイラー体型」とか天皇賞・秋への出走などのことが書かれています。どういう学習をしているのかちょっと過程が垣間見えています。
ゴールドシップと同じほぼ白い葦毛の馬ですが、こちらは名前を当てています。
ゴールドシップ再び
これに気を良くして再びゴールドシップの写真を使います。こんどはフォトパドックの写真を使用しました。まだ真っ白になっていないゴルシですね。
しかしながらなぜか回答は似ても似つかない「キズナ」でした。戦績もでたらめですね。
もういっかいやってみます。
しかし、今回は「わからない」という回答でした。なぜかゴールドシップは嫌いなようです。
もういっかいフォトパドックでママコチャ
さいごにフォトパドックでやってみます。ゴールドシップはダメでしたが、最近の馬なら大丈夫かもしれないと、こんどはママコチャの写真を使ってみました。
回答の方はダメでした。なぜか「オオバンブルマイ」と回答しています。似ているしタイプもマイラーなので類似点が違うのですが・・・
最後に戦績を確認
最後に常にでたらめだった戦績についてテキストで質問したらどうなるかをやってみました。
・・・・まぁでたらめです
正解はこちらです。あっているところはあっていますが、微妙に違います。
まとめ
競走馬についてはかなり厳しい結果になってすいまいました。フォトパドックからの写真であれば、あるていど当たりますが、それでも信頼度は６０%くらいです。ヒントには使えても当てにはならないという結果です。
しかも戦績についてはほぼ100％間違えています。
競馬でAI使えると、すごく嬉しいのですが、もうちょっとかかりそうですね。でもニーズはあるから今後の発展に期待です。