iKut (あいかっと)シリーズまとめ
こんにちは。ソフトウェアエンジニアをしている高田晴彦と申します。趣味はスプラトゥーンで、プレイ動画から、やられたシーンだけを抽出するなど、強くなるための効率的な振り返りを支援するアプリを開発しています。この記事はアプリの紹介や技術記事、頂いたご紹介のまとめとなります。
iKut シリーズとは
画像認識技術を使ってプレイ動画から特定のシーンを抽出することをコア技術としているアプリシリーズです。iKut は Intelligence(知性), ika(イカ), cut(切り取り)の合成語です。
iKut 3
スプラトゥーン3発売後の2023年4月16日に公開した、OBS と連携して、やられたシーンのリプレイバッファを自動保存する Web アプリ。
GIGAZINE さんからご紹介頂きました。
その結果、いくつか要望を受け取ったので、その対応。
ソースコードはこちらです。
iKut
スプラトゥーン2の時代に開発した、スプラトゥーン2の録画の振り返りに特化したビデオプレイヤーアプリ。試合の開始と終了、やられたシーンとたおしたシーンを画像認識を用いて自動で頭出しする機能がある。
ランディングページ
機能の紹介記事
技術記事
画像認識の開発方法はこちらです。
執筆当時は Qiita デイリートレンド3位まで浮上し、2023年7月18日現在、266いいねを頂いています。Google Cloud の技術を活用したため、Google の Developer Advocate の方からも紹介して頂きました。
スプラ2の動画解析。Vision APIでアノテーション、AutoML Visionで学習、TF Liteで推論。 #gcpja "各試合のデス数を確認して合計してみたところ132回デスしていましたが、このシステムはその132回をすべて正しく切り出していました" https://t.co/1gpHvcGDTJ #Qiita
— Kazunori Sato (@kazunori_279) February 23, 2021
アプリは Flutter で開発し、その過程で Flutter のノウハウも増えました。
Flutter の技術イベントで発表しました。
iKut Annotation
iKut 開発のために、大量のスプラトゥーンのスクリーンショットに「この画像はやられたシーン」「この画像は試合の開始シーン」というふうにラベルを付ける必要がありました。ラベル付けのためのツールは Annotation Tool と呼ばれます。良いものを見つけられなかったので、簡易的に自作しました。
この記事が気に入ったらサポートをしてみませんか?