餌やりゲーム「餌やりスピリッツ」を作ってみた

2022年12月4日 10:29

この記事はUMITRON Advent Calendar 2022 4日目の記事です。

こんにちは。ウミトロンのCEOの藤原です。唐突にHW試作をするので、Slackには「藤原工房」なるスタンプがあります。本日はそんな工房からの紹介です。

サマリ

遠隔での魚の餌やりが楽しいので、いつでも餌やり体験できるゲームを作ってみました。

UMITRONでは養殖業向けの技術開発をしています。代表的なプロダクトの一つにUMITRON CELLというスマート餌やり機があり、遠隔やAIで魚の餌やりが出来るという製品です。
UMITRON CELLについてはこちらをご覧ください。

UMITRON CELLから魚の餌やりをすると、こんな感じで魚が集まってきて、映像をついつい見続けてしまいます。魚の餌やりって楽しいですよね。

魚の餌やりを楽しみたいのですが、本物の餌と魚は気軽に扱えないので、「床に餌を撒くふりをすると、動きを検出して魚が集まってくる」というモーション検知とプロジェクションマッピングを組み合わせたゲームを作ってみました。名付けて「餌やりスピリッツ」。

モーション検知用のAIカメラとしてM5Stack UnitV2を使いました。
UnitV2からラズパイにWifi経由でモーション検知結果の座標を送ります。
ラズパイで座標周辺に魚の画像を配置して背景画像と組み合わせたものをプロジェクターに出力します。

M5Stack UnitV2のプリセット機能としてMotion Trackerを使用。画面内に動くものがあると位置やエリアをjson形式で出力してくれる（外部からgetで取得するにはコードの追加が必要でした。この辺りが参考になりました。）
Raspbery Pi 3B+にPythonでコードを書いて、UnitV2からのjsonデータを受け取る。事前に作った背景画像と魚の画像を組み合わせてOpenCVでウィンドウに出力する
Raspberry Pi 3B+の画面をHDMI経由でプロジェクターで投影