【Suphx論文解説③】5つの戦術モデル

前回は「Suphxの全体像を知ろう」というテーマでSuphxの行動決定フローを紹介しました。

Suphxの行動決定フローでは「5つの戦術モデル」が用いられています。このモデルはどれくらい正確なのでしょうか？今回はその精度について補足していきます。

5つの戦術モデル

Suphxでは下記の5つの戦術モデルを用意しています。

・打牌選択モデル（Discard model）

・リーチ判断モデル（Riichi model）

・チー判断モデル（Chow model）

・ポン判断モデル（Pong model）

・カン判断モデル（Kong model）

※モデルというのは「学習済みのAI」みたいなイメージです。

行動決定フローの緑の◇で各モデルが使われています。

戦術モデルの精度

論文では各モデルに関する評価について言及されています。

真ん中のTest Accuracyというのが「人間のトッププレイヤーの判断とどれだけ近いか」を表す数値です。後述しますが、ここでいうトッププレイヤーとは鳳凰卓でプレイしている七段以上の打ち手だと思われます。鳳凰卓のプレイヤーとどれだけ近いかを表していると思ってください。

まず打牌選択モデル（Discard model）は精度が76%と低いですが、これは仕方がありません。他のモデルは「〇〇する/しない」の2択で精度評価しているのに対して、打牌選択は麻雀牌34種類で精度評価をしているからです。とは言え、既存研究の68.8%と比べれば飛躍的に良くなったと言えます。Suphxの打牌選択は従来のAIよりも正確です。

リーチは85.7%とまずまずの精度です。天鳳ではラス落ち回避のためリーチ判断はかなり難しいと思われます。平場ならリーチだけどここはダマ…というのは割とあるはず。トッププレイヤーこそリーチ判断は繊細になると思われるので、精度が伸び悩むのも仕方ないですね。Suphxにツモ切リーチが多いのはここに原因があるのかもしれません。それだけリーチ判断というのは難しいものなのでしょう。なんでもかんでもリーチというのは時代遅れなのでしょうか？

ポン、チー、カンは90%超の精度。ほとんど人間に近いです！Suphxの鳴き選択はかなり信頼して良さそうです。ただし、チーに関しては「どう鳴いたか」の晒し方について言及がありません。「鳴くのはいいけどその形か？」という疑問は謎のままです。

論文には明記されていませんが、おそらく鳳凰卓の牌譜が学習データとして用いられていると推測されます。Suphxのデータセットの規模は東京大学の麻雀AI「爆打」とほぼ同じで、爆打は鳳凰卓の牌譜だけを用いているためです。

情報学広場：情報処理学会電子図書館

今回は５つの戦術モデルの精度に関して補足しました。次回はそれらがどのように設計・実装されているのかをまとめたいと思います。