AKQゲーム

（※原文はこちらの記事http://en.donkr.com/forum/modeling-poker---part-1-536858 の後半部分です。ちょうど先に翻訳した｢頻度」のパートを簡潔にした内容なので、こちらも翻訳してみました。）

私たちはポーカーをモデリングし始めるのにあたって、とてもシンプルなモデルを学びます。通常のポーカーをより良くするためのエッセンスを抽出するために、かなり簡略化したモデルを使っていきます。それが「AKQゲーム」です。
AKQゲームは、一連の記事全体を通して使われるいくつかのモデルスタディの基本となる、いわゆる「トイ・ゲーム」です。この記事では最も簡単な形でゲームを紹介し、解答を提示します。

AKQゲームのルール説明AKQゲームは、何年も前にポーカーの権威Mike Caro氏によって紹介されました。ゲームの簡略化した記述は彼のウェブページ内の記事http://www.poker1.com/archives/8398 で探すことが出来ます。
それでは、よりしっかりとゲームを定義します。

・プレーヤーは2人です。1人はアウトオブポジション（OOP)、もう1人はインポジション（IP)です。
・互いのプレーヤーはアンティ（参加費）をポットに入れます。
・互いのプレーヤーは三枚のデッキ、A,K,Qの中からカードを1枚ずつ配られます。
・ベッティングラウンドではOOPのプレーヤーが最初にアクションします。
・もしベッティングラウンド中どちらもフォールドしなかった場合、ショウダウンで最も高いランクのカードを持ったプレーヤーが勝ちます。

かなりシンプルですが、これはポーカーと呼べるでしょうか？　これはまさにポーカーなのです。そして、一連の記事全体を通して見れば、このAKQゲームから、もっと複雑である本来のポーカーに通用するたくさんのエッセンスを得られることが分かってくるでしょう。AKQゲームは以下の要素を含んでいます。

・アンティ/ブラインド（つまり双方のプレーヤーはベッティングラウンドでベットする動機があります。）
・ポジション
・レンジ（どちらかが特定のカードを持っている時、相手は残り2枚を持っています。
・バリューベット（プレーヤーはAを持っている時に常にベットし、Kを持っている相手のコールを期待します。）
・ブラフ（Qを持っている時にブラフをして、Kを持っている相手のフォールドを期待します。）
・ブラフキャッチ（Kを持っている時、相手がQでブラフしている事を期待してコールします。）

この記事内では、以下のシンプルなバリエーションのゲームを提示します。

フィックスドリミットベッティング、1/2ストリートゲーム

1/2ストリートゲームは以下の特性を持っています。

・OOPのプレーヤーはベッティングラウンド開始時にチェックを強いられます。（”チェックインザダーク”）
・IPのプレーヤーはチェックバック及びベットのオプションがあります。
・IPのプレーヤーがベットした場合、OOPのプレーヤーはコールもしくはフォールドします。（チェックレイズはできません。）
加えて、アンティと同額のフィックスドリミットベッティングを採用します。双方のプレーヤーはアンティ１ｂｂ（ビッグブラインド）を支払います。このバリエーションのAKQゲームは以下のように明示されます。

・アリス（OOP)とボブ（IP)、2人のプレーヤーがいます。
・互いが１ｂｂのアンティをポットに支払ってゲームが始まります。
・双方のプレーヤーはAKQデッキの中から1枚ずつカードを配られます。
・アリスは必ずチェックします。
・ボブはチェックバックしてショウダウンするか、１ｂｂのベットをします。
・もしボブがベットしたなら、アリスはフォールドするか、１ｂｂコールしてショウダウンします。
・ショウダウンした場合、最も高いカードを持っているプレーヤーが勝利します。

我々はこの記事の残りの部分で以下の問いに解答します。

”アリスとボブ双方が完璧にプレイしたらいったいどうなるのか？”

簡単な計算によって答えは得られます。その解答の中に、ポーカーの基本コンセプトが２つあります。

ポーカーにおけるポジションの原則

・IPのプレーヤーはそこにいるだけでOOPのプレーヤーに対して有利である。

ポーカーにおけるハンドの強さの原則

・ベットやレイズはベストハンドにバリューを与える
・中間くらいの強さのハンドはチェックコール（もしくは時々チェックフォールド）する。
・弱いハンドはチェックフォールド（もしくは時々ブラフする）。

ハンドの強さの原則は時々「負けているハンドにコールされたり勝っているハンドにフォールドされるならベットするな」という表現をされることがあります。
それではこれから「フィックスドリミットベッティング、1/2ストリート」のAKQゲームに解答を与えていきます。この記事内では、数学的な表現は最小限におさえ、公式のかわりに言葉によって解答を述べていきます。

「AKQゲーム、フィックスドリミットベッティング、1/2ストリートゲーム」解答

はじめに私たちは「解答」を定義していきます。ここでの「解答」とは、以下の疑問に答えを出す事を意味します。

・ボブの最適なベット/チェック戦略はどのようなものか。

・アリスの最適なコール/フォールド戦略はどのようなものか。

「最適」とはこの場合、相手もまたベストな戦略を使ってきた場合のそれに対するベストな戦略を意味します。もし一方がミスを犯している場合、相手の戦略にアジャストして最大限相手のミスにつけこみます（エクスプロイット）。ミスを犯した側は、エクスプロイットしてきたプレーヤーのアジャストに対してアジャストします。そして最大限エクスプロイットしていきます。

この過程（アジャストとそれに対するカウンターアジャスト）がずっと進行して言った場合、これ以上アジャストしても双方のプレーヤーが期待値を増やせないという地点に収束していくであろうことが想像できます。つまりどちらのプレーヤーも最適戦略同士の中間で「行き詰まり」、そこから離れる動機がなくなります。もしどちらかがそこから離れれば、もう一方にエクスプロイットされるのです。

最適戦略は、勝つ為の戦略である必要がありません。双方にとってブレイクイーブンという結果は完全に受け入れるべきものになります。最適戦略の最も重要な側面は、相手にエクスプロイットされることを防ぐという点にあります。勝つ必要はありません。ただ相手の期待値を最小限にするのです。実際に勝つかどうかは、ゲームのルール次第です。

ゲーム理論的最適戦略（GTO戦略）は保守的な戦略です。私たちのミスに最大限エクスプロイットしてくるプレーヤーに対抗するために作られました。あらゆるゲームで、最適にプレイする両者はブレイクイーブンになります。

しかしながら、このバージョンのAKQゲームでは、ボブに利益が保証されることがすぐにわかってくるでしょう。それは、彼のポジション的有利と、ゲームの始まりでアリスにチェックが強いられているという点が理由になってきます。

ボブの最適なベット/チェック戦略は何か？

ボブの最適戦略で、明らかな部分は以下の通りです。

・A(ナッツ）は常にベットする。（バリューベット）

・Kは常にチェックバックする。（ブラフキャッチャー）

・時々Qでブラフする。（エアー）

ボブがAを持っている時、アリスはKもしくはQです。ボブに負けはありません。したがって、Aを持っている時は常にベットしアリスのコールを期待します。ボブがKを持っている時、アリスはAもしくはQです。したがって、Kでベットしてアリスにミスさせることは不可能です。彼女がAを持っていれば常にコールしてきますし、Qを持っていれば常にフォールドします。よってボブはKでチェックバックし、ショウダウンします。上記の、「ハンドの強さの原則」がここで自然に見られます。

最後に、ボブは時々Qでブラフをしなければいけないことに気が付きます。もし全くブラフをしなければ、アリスはボブがAでのみベットしていることに気がつくでしょう。そして、彼女はKを持っている時に全てフォールドし、ボブのベットはバリューを生まなくなります。つまりボブが全くブラフをしないのならば、アリスにつけこませる機会を与えることになります。そこで問題になるのは、どのくらいの頻度でボブはQでブラフをするべきか、ということです。

これはポットオッズの問題です。ボブが2bbポットに1bbのベットをしているので、アリスには3:1(25%)のポットオッズが与えられます。彼女はAを持っているときはもちろんコールします。が、Kを持っているときに決断を迫られます。彼女はKで毎回コールすることはできません。ボブがAを持っているときに毎回ペイオフしてしまうからです。またボブも、アリスがKをフォールドしていないことに気づき、Qによるブラフをしなくなります。つまり、アリスが絶対Kでコールするなら、ボブは全くブラフをしないことによって彼女をエクスプロイットできるのです。ではアリスはどのくらいの頻度でKをコールに回すべきなのでしょうか。

ここでいくつかのパーセンテージを見ていきましょう。仮にボブがQを持っているときの１０％をブラフにしたとします。彼のベットレンジのA:Q比率は、100%:10%=10:1です。アリスには3:1のポットオッズしかなく、ブラフキャッチしようにもオッズが足りないので、彼女は降りざるを得ません。そしてボブは少し利益を出す事が出来ます。彼の11回のベットのうちの1回のブラフは利益を得ているのです。つまり、ボブはすくなくとも１０％はブラフ可能ということになります。

一方、ボブがQを持っているときの５０％をブラフにしたとしましょう。彼のバリュー/ブラフ比率は100%:50%=2:1です。この場合、アリスは毎回Kでコールすることが利益的になります。なぜなら、彼女に与えられているポットオッズ（3:1）よりもボブのブラフ比率(2:1)が上回っているからです。よって、もしボブがQの５０％でブラフするならば、アリスはKを絶対フォールドしないことによって彼をエクスプロイットできるのです。したがって、ボブはQによるブラフを５０％未満にしなければなりません。

以上を見る限り、ボブには確かな利益的ブラフ頻度（少なくとも１０％以上）がありそうです。そしてアリスにそれを防ぐ手段はありません。またボブには、確実に超えてはいけないラインがあります。（見てきたとおり、50%を超えてはいけません。）もし彼がこれ以上ブラフをするならば、アリスは、Kを絶対コールする戦略に切り替えてきます。そして、ボブはブラフで毎回お金を失うことになります。では、最適なブラフ頻度はどのくらいなのでしょうか。

もし仮に、ボブがバリュー/ブラフ比率をアリスに与えられたポットオッズと同一にしたらどうなるでしょうか。アリスがKを持っている時、コールしてブラフキャッチするためのオッズ、3:1が与えられています。しかし、ボブもまた3:1の比率でブラフをしています。この場合、アリスがどう対応してきても問題ないということになります。もし彼女がKで全てコールしてくるなら、ボブの3回のAによって1bb×3=3bb失います。ボブがQでブラフしている1回で、彼女はポット2bb+ボブのベット分1bb=3bbを得ます。彼女のコールによる利益は、（3(-1bb)+3bb)/4=0になります。これは毎回フォールドした場合のEVと同一になります。（フォールドした場合のEVはゼロですから。）

ボブが3:1という最適なバランスのバリュー/ブラフ比率を使う事によって、アリスはKでコールしようがフォールドしようが関係なくなってしまいました。したがって、彼女が何をしてきても問題ないのです。ではボブが最適戦略を使った時のトータルEVを計算してみましょう。アリスは常にKをフォールドし、Aだけでコールすると仮定します。

ボブが3:1のバリュー/ブラフ比率で8回ベットするとします（6回はA、２回はQ)。アリスは彼のAのベットに必ず降ります（彼女はKもしくはQを持っているからです）。ボブがブラフしているときは２回に１回コールします（Aはコール、Kはフォールド）。ボブは、Aを持っている時に6×2bbを獲得します。QのブラフがAに負けた時は1bbを失い、QのブラフがKに通ったとき2bbを獲得します。ボブは８回のベットで6×2-1+2=13bbを獲得しました。

これは、６回Aをベットして２回Qをチェックする（ブラフしない）より1bb得する計算になります。Aで6×２=12bbを獲得し、Qのチェックバックでは必ず負けて何も得られないからです。つまりボブのバランスの取れたブラフは、８回のベットで1bb儲けられるということになります。そして、アリスにそれを防ぐ手段はないのです！ボブの3:1のブラフに対してアリスはブラフキャッチとして3:1のコールをします。Kでのコールとフォールドは彼女にとってブレイクイーブンなのです。よって、彼女が何をしてこようとも、ボブは8回のベットにつき1bbの利益がでるのです。

ボブの最適戦略は１ベットにつき1/8bb利益が出ることが保証されました。よって彼の取るべき戦略は、

・Aは常にベットする。

・Kは常にチェックバックする。

・Qを持っている時の３回に１回はベット(ブラフ）する。

彼のバリュー/ブラフ比率はA:Q=1:1/3＝3:1になりました。それでは視点を変えて、ボブのベットに対するアリスの最適なコール/フォールド戦略を考えていきましょう。

アリスの最適なコール/フォールド戦略は何か？

アリスの最適戦略で、明らかな部分は以下の通りです。

・Aは常にコールする。（ナッツ）

・時々Kでコールする。（ブラフキャッチャー）

・Qは常にフォールドする。（エアー）

ベストハンドであるAでコールするのは自動的です。Qは確実に負けているので常にフォールドです。アリスが決めるべきなのは、ボブの利益を最小にとどめるKのコール頻度です。彼女はKで毎回コールできません。ボブはQによるブラフをやめ、Aによるバリューベットのみにすることで、彼女をエクスプロイットできます。しかしまた、彼女はKを毎回フォールドすることもできません。今度はそこにつけこむべく、ボブはQで毎回ブラフをすることによって彼女のアンティを奪っていきます。

思い出して下さい。ボブがQを持っている時、アリスはAかKをもっています。彼が2bbをスティールするべく1bbをベットしたとき、アリスがKを常にフォールドするなら、2回に1回スティールは成功します。つまりボブがQで2回ブラフしたとき、1回は2bbをスティールし、1回は失敗して1bbを失います。彼の利益は1bb(0.5bb/1bluff)ということになります。よって彼女は毎回フォールドすることはできません。ただでさえ利益が保証されているボブの最適戦略よりも更に利益的な「常にブラフする戦略」を彼に使わせる機会を与えてはいけないのです。

仮に、アリスのコール/フォールド比率を、ボブがブラフしてきた時の「ボブ視点での」ポットオッズと同一にしたらどうなるでしょう。彼は2bbポットに対して1bbをリスクにさらしているので、オッズは2:1になります。ボブがブラフを3回したとすると、2回コールされてそのたびに1bbを失います。そして1回は成功し、2bbのポットを獲得します。彼の利益は2×(-1)+2=0bbです。つまりこのコール頻度であれば、ボブのブラフ頻度如何に関わらず、彼のブラフをブレイクイーブンにすることができます。それでもアリスはトータル的に、ボブのA+Qベッティングレンジに負けていますし、ボブはこのゲームでの利益が保証されています。しかし彼女はボブに保証される利益を最小限に抑えることができました。そして、ボブの「決してブラフしない戦略」および「常にブラフする戦略」によるエクスプロイットを防ぐことにも成功しています。

よってアリスは、ボブのブラフをブレイクイーブンにするべく、AとKで3回に2回コール（66.67%）する必要があります。彼女のコールレンジはAとKで、50%のAは常にコールします。そして、Kの1/3をコールすることによって残りの16.67%をまかないます（50%の1/3が16.67%だからです）。よって、アリスの最適戦略は、

・Aは常にコールする。

・Kを持っている時の3回に1回はコールする。

・Qは常にフォールドする。

あくまでもこの戦略は、ボブが利益を出すことを防げるものではありません。ボブは既に、アリスがどう対応してきても構わない最適なブラフ頻度の戦略を立てています。しかしながら、アリスの最適なコール/フォールド戦略は、ボブに最適戦略を取る以上のことをさせないようにしています。

ボブが、バリュー/ブラフ比率3:1のベット8回につき1bb利益を得ることは以前に述べたとおりです。しかしアリスが最適にディフェンスしなければ、ボブはさらに利益を増やすことができます。アリスがKをフォールドしすぎるなら毎回ブラフし、Kでコールしすぎるならブラフをやめます。よって、アリスの最適戦略はボブの利益を最小限にとどめているのです。

このバージョンのAKQゲームにおけるボブのウィンレートはいくらか？

もしボブがいかなる時もベットせず、A,K,Q全てチェックバックするのであれば、ゲームは双方にとってブレイクイーブンになります。

・ボブがAを持っている＝彼はKとQに勝つ

・ボブがKを持っている＝彼はQに勝ちAに負ける

・ボブがQを持っている＝彼はAとKに負ける

つまりボブは3回ポットを勝ち取り3回ポットを取れないと言う事になります。そして全てのポットは2bbです（彼がベットをしていないので）。よって、双方のプレーヤーに等しく、支払ったアンティが返ってくるということになります。そして、ボブが絶対にブラフをしない時も同じ結果になります。彼はKとQでチェックバックしAでのみベットします。その場合アリスはKで絶対にコールしないので、結果はボブがAをチェックバックした時と同様になるのです。よってボブは、ブラフを全くせずバリューベットのみという戦略で利益を出すことは不可能なのです。

しかしボブはバリューベットとブラフがバランス良くミックスされた最適ベット戦略を使います。彼には少なくともベット8回につき1bbの利益が保証されています。アリスは最適なコール/フォールド戦略をもって、彼の保証される利益を最小限にするよう努めます。もしアリスとボブがこのゲームを１８回プレイしたとしたら、ボブはA,K,Qを平均的にそれぞれ６回持っていることになります。その内訳は以下の通りです。

・ボブはAで６回バリューベットし、Qで２回ブラフします（=3:1バリュー/ブラフ比率）

・Kを６回チェックバックします。

・Qを４回チェックバックします。

よってボブは１８ゲーム中８回ベットをする事になります。８回のベットにつき1bbの利益が出ることはすでに記しました。つまりボブは18ゲームにつき1bb稼ぐ事が出来るというわけです。

結論：このバージョンのAKQゲームにおける、ボブに保証される利益は1/18bb/hand=0.056bb/hand=5.56bb/100

悪くありません！このような結果になるのも全て、ボブのポジション的有利と、ゲームの始まりでアリスにチェックが強いられていることに起因しています。このことから、「ポジションの価値」および「相手に対して常にチェックすることの結果（IPの相手を楽にする）」を測る事ができます。今後のモデルではアリスにベットするオプションを与え、ボブの有利さが軽減される様子を見ていきます（しかし彼にはポジションがあるので、完全に有利でなくなるわけではありませんが）。

要約

この記事で私たちは、”モデリング・ポーカー”の概要を述べてきました。そして、AKQゲームというシンプルなバリエーションの「トイ・ゲーム」を解明してきました。

このゲームによって、２つのポーカーの原則を説明することができます。

・ハンドの強さの原則

・ポジションの価値

パート２ではこのゲームをもうすこし正式に解明していきます。数学的公式も使います。モデルを使い、ポーカーの問題を数学的に系統立てたり解明するための価値あるトレーニングになるはずです。

それでは、グッドラック！

Bugs

（了）