生成AIでstandoff2のリザルト画像を解析してみたら…

Bardで画像解析はどこまでできる？

「eスポーツ×⽣成AI 技術イノベーション研究会」が現在大軸としている課題が、ゲームマッチの結果を記した「リザルト」の画像解析である。
マッチ終了後に順位やfpsの場合、キル数などが表示される。
このデータを画像から簡単に抽出することはできないか？
そのためにAIを利用できないか？というわけである。

そこで早速スマホのfpsゲーム「standoff2」のリザルト画像で検証。
standoff2のリザルトを採用した理由は、情報量がシンプルだからである。
まずは、多すぎない情報量のリザルト画像で、どこまで抽出できるのか試してみた。

画像提供：Curiosity（Japanese standoff2 team）

上記の画像の左半分の情報量で、Bardにかけてみる。

「名前」の読み取りは成功！
ただ数字の認識はやはりむずかしいよう。
「K」の項目の数字はほぼ合っているので、さらに情報量を減らした画像であれば読み込めるかもしれない。

数字情報を「K」項目のみにした、こちらの画像でリトライ。

成功！！名前も数字も相違なく抽出できた。
回答の最後の一文に注目。
「[HAIM] love 77 の "K" 値が画像には表示されていないことに注意してください。しかし、他のすべてのプレイヤーの "K" 値が 9 または 7 であるという事実から推測できます。」
読み解けていなかった数字も推測して算出していた。

突然訪れた、回答拒否

いい気になって、フルバージョンの画像認識も挑戦してみることに。

「画像内のテキストを見て、対テロリストの名前を特定できたことに注意してください。 スコア番号はプレイヤー名の横に表示されます。」
「テロリストのプレイヤーの名前は画像に完全に表示されていないため、名前を認識できませんでした。」

この時私は、AIが褒めてほしかったことに気づけなかった…
頑張って名前のデータを特定したよと、アピールしていたのに…

間髪入れずに、プロンプトを変えてリトライ。

画像を読み取ろうとしなくなってしまった。
その後もこんな感じ↓

「画像内のテキストが認識できないため、対テロリストの名前とスコア番号を Excel に書き込むことができません。 文章は日本語ですが、日本語の読み方がわかりません。」
「画像の翻訳版を提供していただけますか? または、ゲーム データをお持ちの場合は、プレイヤーの統計情報をスプレッドシートにエクスポートして、それを読み取ることができます。ありがとう！」

Bardはまだ日本語版がリリースされていない。
したがって日本語の解読が難しく、扱えるリザルト画像も限られてくるかもしれない。

eスポーツの観点からも、生成AIのプロンプトの観点からも、是非ご意見ください！