iKut 3 の新機能と一時断念機能(2023年6月)

はじめに

OBSと連携してスプラトゥーン3の試合中に、やられる直前15秒の動画を自動作成するシステム「iKut 3」を開発し、エンジニア向けの知識共有サービス Qiita で紹介しました。

スプラトゥーン3で、やられたシーンをOBSのリプレイバッファで自動保存する - Qiita

モチベーション

モチベーションとしては、デスしたら30秒動画を録画して、後で見て反省点を明確にするという、よくあるアドバイスの実行を効率化するためです。私はクアッドホッパーブラックを使って前線でのキルやヘイト稼ぎを狙っていますが、無駄死は極力避けたいです。そのため、 iKut 3 を使って不適切な操作や判断を明確にしつつXマッチに潜っています。

メディア掲載

当初はQiitaにだけシステム概要として掲載していましたが、GIGAZINEさんに紹介されました。

「スプラトゥーン3」で敵に倒されたシーンだけを自動録画できるウェブアプリ「iKut 3」でグングン上達できる環境を作ってみたよレビュー

ユーザの要望

その結果、多くの人に iKut 3 が知られることとなり、2種類の要望が上がってきました。

1. やられたシーンを保存するときに数秒間の遅延がほしい(配信者目線の要望)

2. たおしたシーンも自動保存したい

検討した結果、前者は実装し、後者は問題があり一時断念としました。作り方は分かっていて個人的な時間の都合なので、時間ができたら作る予定です。

画像の引用

この記事では任天堂株式会社のゲーム、スプラトゥーン3のスクリーンショットを引用しています。

新機能 やられたシーンの保存遅延秒数設定

「○○にやられた！」が表示されてからリプレイバッファを保存するまでの秒数を設定できます。やられたシーンを YouTube や Twitter にそのまま掲載したい場合におすすめの機能となります。

やられたシーンの保存遅延秒数を設定できる

「○秒後に保存」ボタンを押すと、設定ダイアログが表示され、スライダーを左右にドラッグすることで0秒から4秒の間で設定可能です。

やられたシーンの保存遅延秒数設定ダイアログ

たおしたシーンの自動保存は一時断念しました

Twitterで要望が5件あった、たおしたシーンの自動保存ですが、一時断念しました。

たおしたシーンの自動保存が実装された場合は、このようなUIになる予定です。

理由は、たおしたシーンでなくても、たおしたシーンとして認識されて余計なリプレイバッファ保存が行われてしまうためです。具体的にはナンプラー遺跡でのリスポーンが、たおしたシーンとして認識されてしまいます。

ナンプラー遺跡でのリスポーンが、たおしたシーン判定されてしまう。

原因

ここから先は専門的な内容だったり、私の個人的な日記なので、興味ある方だけ読んで頂けると幸いです。

---

iKut 3 は動画のフレーム画像を画像認識で判定し、必要に応じてOBSを操作しています。画像認識は5万枚のスプラトゥーンのスクリーンショットを学習することで作っています。問題は画像認識を開発したのがスプラトゥーン2の時代だっため、スプラトゥーン2のスクリーンショットだけを学習に使い、スプラトゥーン3のスクリーンショットは1枚も使っていないことです。

画像認識の開発

詳細はこちらのQiitaの記事で解説しています。

スプラトゥーン2のプレイ動画から、やられたシーンだけをディープラーニングで自動抽出する - Qiita

Flutter Webで画像分類を行う(AutoML Vision, TensorFlow.js) - Qiita

対策

スプラトゥーン3のスクリーンショットを学習データとして、画像認識を新たに作れば良いです。各画像には「やられたシーン」「たおしたシーン」のラベルを付ける必要がありますが、現行のスプラトゥーン2のスクリーンショットで学習した画像認識を使うことで、ある程度正しく画像分類されます。間違って分類されているところを人力で修正すれば良いです。修正作業を効率的に行うなためのツールも開発済みです。

Flutter Desktopで簡易アノテーションツールを作る - Qiita

優先度の問題

要望を上げて頂いた方には申し訳ないですが、元々自分がスプラトゥーン3のXPを上げるために作ったシステムのため、要望に対応することの優先度が低いです。
もう一つの事情として私が4月に転職し、そこでは前職では使っていなかった技術を使っているため、その技術の学習の方に時間を使う必要があります。
キル集を自動で作りたい方々は、今しばらくお待ち頂ければと思います。