歌舞伎のAR化　開発の始まり_Devlog No.00

こんにちは、初めまして Zenと申します。
自己紹介から始めますと、私は現役の高校生で現在は古典芸能をARを介して体験できるようなシステムを構築しています。

なぜこのようなアイデアを浮かんだのかを、なるべく詳細に書いていきます。
最後まで読んでいただけると嬉しいです！

将来的なビジョン

古典芸能をより身近にかつ楽しく感じるために、実際に劇場に観にいく以外にも方法があると感じます。

古典芸能の映像や音源などを家で観たり・聴くように、目の前で歌舞伎の公演などが3D空間上にスマートフォンで配置できるシステムを構築すれば、観る・聴くに加えて三次元のものを実際に体験するという新しい選択肢が増えることにつながると思います。

スマートフォン上で手軽に利用することができれば、古典芸能という難しいイメージや敷居の高さを感じずにより生活に身近になると思います。

将来的な理想としては、学校などで古典芸能に触れるときに、ARやVRを使用することにより、伝統芸能の立体的な迫力と美しさを感じてもらい、実際に劇場に足を運ぶ機会に繋げる事ができればと考えています。

そして、モーションキャプチャー技術などを使い、生きている表現者を三次元の空間に記録することが行われ、文化の保存に現代技術を活用した新しい変革を起こしたいというのが大まかな理想です。

現状の開発状況

現在は、六代目尾上菊五郎の春興鏡獅子の映像から、演者の動作をAIが読み取り、作成したモーションデータをAR上でアニメーションとして表示できるシステムを開発しています。

以下が進めている手順になります。

1. 2Dの動画から歌舞伎役者の動作を認識・追跡するAIを使用し、モーションデータを抽出する。

2. モーションデータを自然に見えるよう調整を行う。

3. 歌舞伎役者の3Dモデルを作成する。

4. 作成したモーションデータを3Dモデルに適用させ、アニメーションを作成する。

5. アニメーションをAR開発のプラットフォームにインポートし、調整する。

6. バイノーラルオーディオを使用し立体的な音に調整する。

7. 歌舞伎の筋書きや長唄の歌詞などを字幕（外国語、日本語の現代語）で表示する。

8. 制作したアプリをスマートフォン上で起動し、歌舞伎のAR化した３Dコンテンツを表示させる。

実際に使用するツール

• Deepmotion

• MotionBuilder

• OptiTrack

• iPi Soft

• Unity 

• Unreal Engine

• Blender

• etc…

以上の通りになります。
現在は抽象的な目標を立てるところまでしか進んでいませんが、これから半年から一年を目安に開発を進めていきたと考えています。

noteを通して進捗をより具体的にお伝えしていきます。

現在の理想を書き綴ってきましたが、私はプログラミングや機械学習はまだまだ分からないことだらけです。

もし今、ブログを読まれているあなたが、モーションキャプチャー技術やAR開発などの分野に精通されている方でしたら、助言やアドバイスをいただけると大変助かります。
そして、誰かが見てくれているというモチベーションにもなります。

拙い内容になりますが、何卒よろしくお願いいたします！