動体部位検出とAKAZE特徴量マッチングを用いた1歳馬ウォーキング動画の類似度判定

まことルーラーシップ

0.はじめに

今回はタイトルにあるように、「動体部位検出とAKAZE特徴量計算を用いた1歳馬ウォーキング動画の類似度判定」を実施するこで、2020年生まれのルーラーシップ産駒がそれまでの同産駒達と比較しどれだけの類似度を有するかに関しての判定結果を記していきます。(一応POG直前企画)

注1)今回示す結果はファイナリティを持つものではないと個人的に思っていて、また統計的や数学的に正確性を欠く飛躍的な部分もあると思うので、指摘や改善点等ありましたら教えていただけるとありがたいです。

1.動体部位検出とは？

最近では、機械学習を生命科学に積極的に用いようとする動きがあり、コンピュータビジョンなどの手法を含む生物学の論文数ら2020年には2万件を超える論文の発表が見込まれているらしいです。
そのようなムーヴメントの中で、動物の関節等の体の部位の追跡(ポーズトラッキング)のニーズもそこそこに高いとのこと。

電通、東大松尾研発のAIスタートアップACES、GAORA、共同通信デジタルと共に野球における姿勢推定AIアプリケーション「Deep Nine」を開発
https://www.dentsu.co.jp/news/release/2020/0601-010059.html

なので、まあざっくり言うと、これを競走馬のウォーキング動画にも応用してみようというのが今回の話です。
今回使用したのはDeeplabcutというツールで、特徴として①動物を対象としたポーズトラッキングを可能としていること、②転移学習により少数データでの学習を可能としていることが非常に優れていると言われています。
↓Deeplabcutの論文。でかでかとハエさんが出てくる時があって、その度にうっ...こわ...ってなります。

https://catniplab.github.io/journalclub/JCpapers/Mathis_markerless_defined_deeplearning.pdf

で、実装した結果のGIFが以下のようになります。しっかりと各部位検出が追従できていることがわかると思います。
トラッキングされている各部位の座標は数値としてレコードされていて、それを用いることで定量的にも評価できる機械学習ツールとなっています

でか流星馬

今回はこの機械学習ツールを用いて、2020年産のルーラーシップ産駒    頭の1歳時のウォーキング動画に関して動体解析を実施し、各部位の1完歩辺りの座標推移に関して取得しました。


2.AKAZE特徴量とは？

2-1.特徴量とは？

コンピュータでは特徴量を数値で表します。競走馬でいうと馬体重は525kgです、あの馬は450kgですと言った感じに。この特徴量が似てる似てないを確認する作業が特徴量マッチングとなります。

2-2.特徴量マッチングとは？

画像に関しては、異なる画像からそれぞれ抽出した特徴量の対応付けをすることです。今回はopenCVのライブラリにあるAKAZE(Accelerated KAZE)という手法を用いて特徴量マッチングを実践します。

2-3.AKAZEとは？

A-KAZEは拡大縮小、回転、照明変化にも強いロバストな特徴量抽出アルゴリズムです。KAZEというアルゴリズムを高速化してA-KAZE(Acclerated KAZE)となりました。KAZEは日本語の「風」から命名された手法です。SIFTやSURFといったそれ以前の手法と比べて認識精度が高いのが特徴です。また、SIFTやSURFは特許権が設定されており商用で利用するにはライセンスが必要ですが、AKAZEは商用/非商用を問わず利用可能です。
(↓下記ブログを参考というか、引用しました。)

特徴量マッチングの結果。AKAZEでは使われる特徴としては角 (コーナー) が多いようです。

2-4.AKAZE特徴量マッチングのための画像処理

今回は、さきほど取得したウォーキング動画において、1完歩した時の各パーツ座標データを使用します。
今回は結果の単純化のため(とか言ってるけどここは非常に恣意的に選択しちゃってます)、3部位(ここでは尻座標を原点とした、①右膝、②右飛節、③右後球節の動き)のトラッキングデータを1枚の画像に落とし込み、その画像を用いて特徴量マッチングを実施します。

選んだ3部位
3部位のトラッキングデータの例

3.判定結果

3-1.対象馬・比較馬

今回は試しに2020年産のルーラーシップ産駒５頭vs2017年生まれ以前のルーラーシップ産駒９７頭で類似度判定を行います。

対象馬

  1. アーバンレジェンドの20

  2. アッフィラートの20

  3. ウルドの20

  4. コーディリアの20

  5. タッチングスピーチの20

3-2.判定結果

１．アーバンレジェンドの20

判定結果（数値が小さいほど類似度高い）

２．アッフィラートの20

判定結果（数値が小さいほど類似度高い）

３．ウルドの20

４．コーディリアの20

５．タッチングスピーチの20

4.考察・まとめ

　結果はどうだったでしょうか？2例しか載せていませんが、"パッと見"似たようなトラッキングデータの画像が類似度高めに選択されているようにも見えます。
　ここから、判定する部位を変えてみたり、部位の数を増減させてみたり、また特徴量マッチングのアルゴリズムを変えてみたりと調整できるところは数多くあると思います。
　今回は対象馬の適正距離や活躍の予測等までには踏み込んでいませんが（それでもウルド20のTop5は特に活躍馬が多かったので今後注目したいと思います。）、データ数を増やしていく中でそういったことに関する重要な因子となる特徴量が見つかったり、見つからなかったり。。。
　また、この解析等を進化させていくことで、パドック等の予測に役立つ時が来るかもしれません、私ももう少し研究してみたいと思います。（おわり）

この記事が気に入ったらサポートをしてみませんか？