見出し画像

スポーツデータアナリストから研究の道へ、そしてRefTechへの興味へ

Ikuma Uchida

【これは「スポーツアナリティクス Advent Calendar 2021」の19日目の記事です】

自己紹介


初めまして、内田郁真と申します。
筑波大学大学院の修士1年目であり、現在はスポーツ×AIに関する研究に従事しております。研究テーマは、コンピュータビジョン・スポーツサイエンスなどに該当します。実は学類時代には少しHCI系の研究にも関わっており、サッカーをテーマとした人間の行動の相互作用にも興味あります(執筆論文)。
過去の取り組み内容に関しては以下のサイトをご覧下さい。👉https://www.linkedin.com/in/ikuma-uchida/

また昨年までの4年間筑波大学体育会サッカー部(蹴球部)に所属し、データアナリストとしての活動を通して数多の体験をさせて頂きました(当時の活動内容に関しては下記参照)。


アドカレ2021投稿のテーマ

スポーツアナリティクス Advent Calendar 2021へブログを掲載するにあたり、今回は自身の意思決定の備忘録の意味も込め、2021年の活動のまとめを行う機会にしたいと思います。
今回は、どちらかといえばサッカーの現場と接点の多いアナリストからアカデミックの道へ進むことになったきっかけについて、また現在研究のテーマとしている「RefTech(審判のためのテクノロジー)」について、現状の研究進捗を含めつつ書き表します。

本記事に興味がありそうな方々は以下の通りです👇

✅ スポーツアナリティクスに興味のある方々
✅ コンピュータビジョン(物体検出やトラッキング技術)に興味がある方々
✅ サッカーの判定をサポートする技術に興味がある方々

以下目次ですが、RefTechに関する内容は後半となります。なんで研究やってんねんっていうモチベーションの部分のみ部分のみ気になる方は 1. を、研究テーマのみに興味がある方は3. の判定自動化(オフサイド)の取り組みの部分まで飛んで頂けますと幸いです。

1. 大学院進学・研究に対するモチベーション


今年より画像情報に関する研究に従事しており、現場サイドでのデータアナリストの活動は昨年ほど行ってはおりません。データアナリストの活動に対する興味が薄れたとかでは全くなく、蹴球部での活動を通じより強くでデータのスペシャリストとしてチームに貢献したいと感じています。
最短ルートなら「大学卒業→スポーツチームに就職」がベターな選択だと思いますが、僕が画像情報系の研究室に進んだ背景について述べたいと思います。

スポーツにおける定量的な解析およびそれらの現場への落とし込みは年々価値を高めており、国内だとデータスタジアム株式会社さんやJSAA(日本スポーツアナリスト協会)さん等の継続的な取り組みにより、プロスポーツチームでもITやPC周辺技術に明るいアナリストのニーズが増えています。
一方で、数値的な解析を専門とするデータアナリスト(or データサイエンティスト)が、どれほどの技術を有することがプロチームに対してバリューを発揮出来るのかどうかに関する明示的な指標や要項が現状少なく、有すべき技術や実績を把握しないままスポーツチームに飛び込む事に不安を覚えました。このままでは、チームに対する貢献度が低くなり、僕の評価が下がるだけならまだしもアナリストという役割そのものの価値毀損に繋がるのではないかと考えました。

上記のような内容をLiverpool FCのデータサイエンティストのWilliam Spearmanさんに相談したところイングランドプレミアリーグ(PL)のアナリストの募集要項について教えて頂き、下記のような技能を求められているとのことでした(以下はManchester City のデータサイエンティストの要項例)。
PLのポジションの要項はここに纏まっています：

基本的にはデータ分析でサッカーチームに貢献する為には少なくとも修士卒業相当の数理技能やコンピュータビジョンの知識が必要となるそうです。

社会人生活を送りながらこれらの技術や経験を獲得することは難しいと判断し、現在画像解析領域を専門とする研究室に進む事を決めました。

--(補足)--

コンピュータビジョン(CV)とは、視覚的な世界を解釈および理解できるようにコンピューターをトレーニングする人工知能(AI)的な取り組みであり、スポーツで言うと画像から選手の位置や姿勢の検出、及び分析をさすイメージです。

CVによるスポーツ解析の例

また、Sports×AIの取り組みに関してはこちらの記事がよくまとめられているのでご覧下さい。

次は現在の研究テーマでもあるRefTechについて簡単に触れたいと思います。


2. RefTechについて

「RefTech」とは試合中の審判の意思決定を支援するためのテクノロジーの略称だと思っています※
(※実は正式な略称は定まっていない可能性があります。「RefereeTech」や「審判Tech」なども同義語だと思って頂ければ…)。
RefTechは、サッカーだとVARシステムやGLT(Goal Line Technology)、バレーやテニスだとHawk-EyeによるELC(Electronic Line Calling)がそれに相当します。

これらがRefTechですが、僕は現在修士研究のテーマとして、「CV技術を用いたサッカー試合映像からの反則の自動検出」に取り組んでおります。

2.1 RefTechの解決するサッカーの課題

RefTechに取り組む上でのモチベーションについてです。

サッカーに限らずスポーツ全般において判定の誤りは必ず付いてきます。これは審判の技能というよりは、異様なほど素早く変化する試合状況を一瞬で判断し判定を下すといった行為そのものにある程度の限界が生じているからと思われます(Ex:サッカーのオフサイドにおける「フラッシュラグ効果」)。

フラッシュラグ効果によるオフサイドの誤審の可能性について


一方で公正なレフェリングは必要であるということでVARやGLTなどがサッカーでは導入されていますが、これらは導入コストが億単位であり、これらの技術はトップカテゴリのチームおよび審判のみに享受されることとなります。
このようなカテゴリ間による公正なレフェリング機会の増減は出来るだけ減らしたいと考えているため、比較的コストの低いビデオカメラの映像から判定の自動化を行いたいと考えました。

CV分野においてレフェリングに関するテーマは取り組まれていないことも多く未踏の領域であることからも研究としての意義は深いと考えています。
またレフェリング周辺の課題感は自身が選手時代に感じていたことの一つでもあるため、CV技術でアプローチ出来る事に楽しみも抱いています。

2.2 RefTechのスポーツアナリティクスへの昇華

CV×RefTechの技術的なキモは選手とボールのトラッキングであると考えています。RefTechの研究とアナリティクスの研究は技術的には類似していることもあるため、これらの取り組みが中長期的にはアナリティクスに対しても貢献すると考えています。


3. 判定自動化に関する研究内容について(オフサイドに対する取り組み)

サッカーにおける判定自動化の一事例として、僕の研究テーマでもあるオフサイドの判定自動化について簡単に触れたいと思います。
なお本紹介は今年実施されたMMSPORTS'21 での研究発表と同様のものであり、蹴球部時代の先輩であるスコットアトムさんとの共同研究になります
論文ページ：

発表スライド：


3.1 研究背景

ラインズマンはオフサイド判定を試合中の一瞬の判断で決定する必要があり、オフサイドルールの適用要件の複雑さを鑑みるとレフェリングの中でも難易度の高いタスクと言えます。また、オフサイドの判定は主観的に行われ、判定の一貫性に関しては担当審判団によって20-26%の判定誤差が生じるとも言われています。これらをもとに審判団のオフサイド判定を支援する為の技術的なアプローチが必要だと考えられます。

オフサイド、その他反則の判定支援を行うアプローチの最たる例がここ数年で急速に普及したVAR(ビデオアシスタントレフェリー)システムです。一方、1) 介入できるプレーの限定、2)判定時間の長時間化、3)審判団によるビデオチェックシステム(主観的判定という部分は変わらない)、4)導入コスト(アマチュアカテゴリでの使用はほぼ不可能)、など改善の余地も考えられます。

従来より画像情報を入力としたオフサイドの自動判定技術は研究ベースで行われていましたが、これら技術の共通の課題として動画(連続フレーム)への対応が困難であるという点がありました。その要因として、1)提案パイプラインの複雑化、2)ビデオベースによる選手のトラッキングの必要性が考えられます。

我々の研究はこれらの課題に愚直に向き合い、2台のビデオカメラで撮影した試合映像からオフサイドシーンを自動で検出するアプローチを提案しています。

研究の概要。動的にオフサイドラインとパサーとレシーバーを検出しオフサイド判定を行う。

このアプローチによる貢献は以下の点です。

■ 時系列情報を考慮し、よりオフサイドの定義を則った自動オフサイド検出アプローチである。
■ 両チームとボールの動的な位置関係をトラッキング技術により把握することで、オフサイド検出の際に必要不可欠なパスの検出も同時に可能とする。

また社会実装を想定した際の貢献は以下の点です。

■ VARと比較し低コストなデバイスでの審判の支援に貢献
■ 定量的な判断に基づく判定技術が提供可能となる場合、審判の育成に対する適用可能性 
■ etc

3.2 提案手法・デモ

本研究における提案システムのパイプラインです。重要な部分について後述でピックアップしますが、技術的なキモは以下の点です。

1. 選手とボールの検出&カルマンフィルタ をベースとしたトラッキング
2. 検出した選手とボールの位置関係に基づきパスを検出
3. パサーとレシーバの情報に基づくオフサイド検出アルゴリズム

提案システムのパイプライン

また、以下は簡単なオフサイド検出のデモ動画です(これは物体の検出結果にアノテーションデータを使用しております)。

物体検出〜トラッキング

物体検出は事前学習済みのYolo v5と呼ばれる物体検出モデルを使用しており、これにより選手とボールの画像位置を取得します。

また、攻撃側のチームを特定する為に、トラッキングの前に画像から選手の所属するチームの分類を行います。手法は、物体検出で取得した選手の矩形内の色情報を自動で抽出し、色の情報を数理最適化の問題に落とし込むことでチームの割り当てを行う… というちょっとややこしいことをしています😢

チーム分類手法

物体検出を行うだけでは、フレーム毎で選手の特定が出来ません。つまりこのままでは機械は画像に映る人を「同一人物である」と認識することが困難です。そこでトラッキング技術を導入します。
トラッキングに関しては、等速運動モデルを仮定したカルマンフィルタを用いることで選手の次のフレームにおける予測位置を出力し、前フレームとの位置関係を考慮することで選手の特定を行っています。
これにより、画像内の「誰が」パスに関与したのか把握できるようになります。
参考文献：

共著者のアトムさんがTwitterにトラッキングの様子をあげています（トラッキングの誤認識に関しては改善が必要です。）

パスシーン検出について

本研究においては、画像から検出されたボールの移動速度に注目し、パスシーンの検出を行っています。
まず、速度の極大値となるフレームを「パスが出されたフレーム」、極小値を「パスを受けたフレーム」としています(下記図の下側の折れ線プロット参照)。
そして、検出したフレームと前述のトラッキングの結果を用いて、該当フレームにおいて「ボールから最も近い距離にいる選手」をパスに関与した選手としています。
例えば、「ボール速度が極大」として検出したフレームにおいて、ボールに最も近い選手が「青チームの3番」だった場合、その選手をパサーとする。と言った具合です。

パス検出手法の概要図。ボール速度の極値に注目しパスシーンの検出を行う

オフサイドの検出について

ここまでの手法において取得した情報全てを用いるとオフサイドの検出が可能となります。
アルゴリズムは以下の説明を満たすよう記述されます。

  1. GKを除く守備側の最終ラインの位置を算出

  2. 攻撃選手によってパスが出された瞬間のフレームにおいて、オフサイドラインを超えている攻撃選手を「オフサイド候補選手」として特定する

  3. 「オフサイド候補選手」がボールに触れた(最もボールに近づいた)場合、「オフサイド」と判定する

3.3 実験評価

本研究では、キャリブレーションされたワイドレンジのカメラ二台を使用して撮影した、数試合分の映像を使用しています。
撮影した試合映像を30秒の映像に切り取り、「オフサイドあり」の映像を10シーン、「オフサイドなし」の映像を10シーン、合計20シーン取得しています。
この20シーンに対して提案手法を用い際の検出の精度に関する指標を算出した結果が以下の結果になります。

実験結果

Precision = 60%、Recall = 66.7%、F1 Score = 63.1%となりました。正直そこまで高い精度ではありませんね、、、
考察として、改善可能な箇所についていくつか言及したいと思います。
・カメラの台数：今回はピッチ中央に設置した2台のカメラの映像を使用しましたが、カメラ距離が遠い位置（逆サイドのライン際など）の物体検出精度が低かったです。これはカメラの台数を増やすことにより対応可能だと考えられます。
・姿勢推定技術の導入：今回物体検出技術を使用し、選手の矩形のみを検出しました。しかしオフサイドが適用される身体部位については「手と腕を除くプレー可能な部位」と定義されており、矩形だけだと身体部位がオフサイドラインを超えているかどうかの判断が困難です。この辺りは推論速度への影響も考慮しながら既存の姿勢推定手法を活用することで選手の身体部位まで検出することを検討したいと思います。
参考：OpenPose


4. RefTechがレフェリング（そしてスポーツアナリティクス）にもたらす未来について

今年は上記のようなオフサイド自動化(とそれに関わるトラッキング周辺の技術)に関する研究を進めていたのですが、今年のつい最近半自動のオフサイド検出技術の実検証についての記事が出ていました(文献は調べたんだけどな、そんなニュース今までなかったよなと当時は焦りました笑)。

まだ検証段階で精度や判定速度などの議論は深まってないようなので続編待ちですが、これが実現すればレフェリングにとってポジティブな影響を与えられると信じています。

また、これらRefTechに対する深い洞察はSUSSUさんが執筆された記事からも見る事が出来ます。レフェリングに関わる取り組みを行う身として、テクノロジーと審判の方々の共存やよりポジティブな相互作用については深く考えていきたい次第です。


最後に

要領を得ない長文となってしまい申し訳ありませんでした…。
「現場サイドのデータアナリスト〜研究としてのスポーツアナリティクス〜RefTech」までの一連の内容について触れましたが、これらは相互に影響し合う分野で一つとして切り離せないと思います。体は一つなので一度にこれら全てに取り組むことは困難ですが、少しずつ課題を解決できれば思います。またこれらの取り組みで培った技術や経験を日本スポーツに対して還元出来れば非常に幸せと感じます。

本記事の内容について興味があればぜひ色々とお話ししましょう！

Twitter : @ikuma_uchida18

この記事が気に入ったらサポートをしてみませんか？