【翻訳】ダイナミックサイジング: GTOの進化【セオリー】GTOWブログ.85
ダイナミックサイジングは、各意思決定ポイントにおいて自動的に最もEVの高いベットサイズで戦略をシンプルにする画期的な新しいポーカーアルゴリズムである！
シンプルな戦略を上手に実行すれば、複雑な戦略を下手に実行するよりも必ず有効になる。
ブラウザベースの学習ツールが登場して以来、ベットサイズが多すぎるGTOソリューションから学ぶことは、ポーカープレイヤーにとって重要な課題であった。複雑なGTO戦略は解釈が難しく、実行するのは事実上不可能である。シンプルなソリューションは勉強しやすいが、堅牢性に欠け、最適なサイジングや異なるベットサイズへの対応方法がわからない。
私たちは、AIの力を使って、この問題に対する洗練されたソリューションを開発した。ダイナミックサイジングを使えば、両方の長所を併せ持つことが出来る！
機能の概要
ダイナミックサイジングは、不必要なベットサイズを排除したシンプルな戦略を作成する。
ダイナミックサイジングにはいくつかの主な特徴がある：
各意思決定ポイントにおいて、最適なベットまたはレイズサイズに自動的に簡素化する。
希望のベットサイズの数を選択することが出来る。
オプションとして、ソルバーが選択するサイズのリストを定義する。
ソルバーがダイナミックサイジングを使用するタイミングと場所を指定出来る。
異なるベットサイズでのノードをその場で再計算する。
カスタマイズしたソリューションに対してトレーニングを行うことが出来る。
ダイナミックサイジング機能を使用すると、サイジングを入力したり、手動でツリーを作成したりすることなく、特定のシナリオで最もEVの高いベットサイズが表示される。ベットサイズを2つ指定した場合、ソルバーには豊富なオプションの中から2つのベットサイズを指定することになる。
また、使用したいサイズ数を指定するとAIがシナリオごとに最適なベットサイズを教えてくれる。ボードテクスチャーによって選択されるサイズが異なるため、AIの推奨サイズに注視することで、ベットやレイズのサイズ選択を改善する方法を学ぶことが出来る。
ダイナミックサイジングのトレーニング機能も驚くほどアップグレードされている。プレイ中のシナリオに適したベットサイズが表示され、ハンドをリプレイしたり、スタディモードに切り替えてフルレンジの戦略を探ることが出来る。ベッティングオプションがその場で調整されることで、あなたが実行しようとしている戦略を把握するのが格段に簡単になる。
ダイナミック・サイジングの使い方は以下のビデオを見て欲しい！
Dynamic vs Automatic
GTOウィザードには2つの自動簡略化方法がある： DynamicとAutomaticである。これらは本質的に同じアルゴリズムだが、どちらの場合も、ソルバーは事前に定義されたベットまたはレイズのサイズのリストから、各ノードで最適なサイズを検索する。重要な違いは、Dynamicモードでは、どのベットサイズを考慮するか、また各意思決定ポイントで使用するベットサイズ数をユーザーが設定できることである。
Automatic：GTO Wizardはいくつのサイズを使用すべきかを決定し、SPRに基づいて事前に定義されたサイズのリストを調整する。ソルバーは、各決定において最適なベットまたはレイズのサイズに自動的に簡略化する。これは通常、新しいユーザーに最適なオプションとなる。
Dynamic：ベットまたはレイズのサイズをいくつにするか、またソルバーが考慮すべきサイズを選択する。ソルバーは各決定ポイントで最適なベットサイズに自動的に簡略化します。このオプションはより細かい設定が可能になる。
問題
ソルバーに馴染みのない人にとっては、これが問題になることすら不思議に思えるかもしれない。結局のところ、なぜ従来のソルバーは最適なベットサイズを教えてくれないのだろう？
問題は、ポーカーが非常に複雑なゲームであるため、計算可能にするためにベッティングツリーを抽象化する必要があるということだ。従来のソルバーでは、人間がベットサイズを正確に定義しなければならない。従来のソルバーの仕組みについては、こちらの記事を読んでほしい
しかし、ソルバーに与えるベットサイズをどうやって知るのだろうか？これが問題の核心である。
古典的な単純化の手法では、多くのベットサイズで複雑なストラテジーを解いた後、ソルバーが最も頻繁に選択したサイズを使って解き直したり（頻度分析）、各サイズを別々に解き直して、複雑なストラテジーをプレイするのに比べて最もEVが少なくなるサイズを選択したり（EV分析）をする。しかし、このプロセスは長く退屈である。1つのポストフロップツリーを何千回も解き直して、すべての決定ポイントでベットとレイズのサイズを最適化する必要がある。そのため、ポーカープレイヤーはベッティングツリーを最適化するために経験則やヒューリスティックに頼っていた。ポーカー界が新しい方法を必要としていたのは明らかである。そこで私たちはダイナミックサイジングアルゴリズムを開発した！
ダイナミックな手法は、あらゆる意思決定ポイントにおいて最適なベットサイズを利用することで、戦略を合理化することを目的としている。その目的は、あなたの単純化を罰するためにあらゆる手を尽くしてくる搾取的な相手に対して、最も期待値（EV）の高いベットやレイズのサイズを見つけることである。そして重要なことは、これを素早く行う必要があるということである。
最適なベットサイズをどのように見つけるのか
ダイナミックアルゴリズムは、利用可能なすべてのサイズをスキャンし、あなたの戦略に最も価値を与えないベットまたはレイズサイズを除外する。このアルゴリズムが繰り返され、最も価値の低いベットサイズが削除され続ける。
通常、これは非常に長い計算になる。しかし、人工知能のパワーのおかげで、あらゆるベッティング戦略の価値を極めて迅速に概算することが出来るわけだ。
最適なサイズ設定を見つけるために、利用可能なすべてのベットサイズの頻度、EVを比較し、独自の機械学習アルゴリズムの入力として使用される一連の特徴を生成する。このアルゴリズムの出力から、どのサイズを外すべきかが分かる。その後、GTO Wizard AIを使ってベッティングツリーを解き直し、最も価値のあるサイズだけが残るまでこのプロセスを繰り返す。最終的に残った結果は、効率的でシンプルな最適ベッティング戦略となる。
ベンチマーク
次の疑問は、このアルゴリズムがどの程度正確なのか、ということだ。私たちはそれを確かめるため、広範なベンチマークを実施した！ここでは、私たちの調査結果の要約を紹介するが、ダイナミックベンチマークの記事もぜひ読んでほしい！
ダイナミック戦略は、最良の単一サイズ戦略と比較して、リバーでのEV損失は平均0.05%のみである。また、8つの異なるサイズの複雑なリバー戦略をプレイした場合と比べても、平均EV損失はわずか0.30%であり、固定された単一サイズの戦略を凌駕する。
Slumbotと対戦したとき、150,000ハンドのトライアルで最も成績が良かったのは、1サイズのダイナミックサイジングを使ったものだった。理論的には、複雑な戦略の方が単純な戦略よりも優れているはずだが、7秒の移動制限によって、単純なアプローチの方が精度が高くなり、分散も少なくなり、50%も良い成績を収めることができた！
ポーカープレイヤーは戦略を単純化することでEVを失うのではないかと心配することがあるが、経験上、その逆であると自信を持って言える。単純化された戦略は、あなたの学習効率とウィンレートを間違いなく向上させる。ゲームに不必要な複雑さを排除し、最も重要なことに集中することで、精度と自信の両方が向上する。
・・・・・・・・・・・・・・・・・・・・
記事は以上になります。最後まで読んでいただきありがとうございました。
この記事を読んで良いと感じて頂けましたら、noteのスキ、やSNSでの拡散、Xのフォロー、サポート等をして頂けますと、本当に執筆の励みになります！
この記事が気に入ったらサポートをしてみませんか？