クリエータ紹介⑩片山寛基さん -「一瞬を永遠に」3D再構成アプリ開発の旅
このnoteでは、福岡未踏的人材発掘・育成コンソーシアム（通称・福岡未踏）のプロジェクト採択者について、プロジェクトの詳細や福岡未踏にかける思いをご紹介します。
今回は、永遠に残したい「一瞬」を3次元に再構成するアプリケーション開発に取り組む、片山寛基さんの挑戦をお伝えします。
プロフィール
プロジェクト名：一瞬を3次元再構成するアプリケーションの開発
支援プランと期間：Pro（23年9月~24年1月）
クリエータ：片山寛基さん（株式会社モノリシックデザイン）
これまでの歩み、来歴
高校生だった片山さんは、当初大阪大学への進学を目指すも、結果として熊本大学へと進むことに。「大学院では関西に行ってみたい」という憧れを持ち続けていました。
その思いを原動力に、奈良先端科学技術大学院大学（NAIST）に進学しロボティクス研究室に所属することになった片山さん。大学院で、その後の人生を大きく変えることになる「NAIST起業部」に出会います。特に影響が大きかったのが、大学院1年生から参加したGEIOT（ガイオット）プログラムです。IoT、AI、ビッグデータに関するイノベーション人材育成プログラムを受けて、もともと選考していた機械系ではなく、Webサービスやアプリケーションを作る面白さに気付きます。その理由について片山さんは、「機械系は、小さい部品を組み合わせて、みんなで大きいものを作ります。その一方、GEIOTでマッチングアプリサービスを作る取り組みのなかでは、最初から最後まで自分が関われる“介在価値の大きさ”に面白みを感じました」と語ります。
大学院修了後はITコンサルタントとして働く予定だったものの、NAISTでの先輩との出会いが起業への道を拓くこととなります。先輩が立ち上げたスタートアップ企業で一緒に働く道を選んだ片山さんは、そこで1年半ほど、開発者としてのキャリアを積みました。そのなかで、片山さんは徐々に、技術者としてより幅広い技術を扱えるようになりたいと考え始めます。また生まれ育った九州に帰りたい、という思いもあり、転職を決意。現在は、AI、分析技術を用いたソフトウェア開発などを手掛ける 株式会社モノリシックデザインで働いています。
プロジェクトの概要
片山さんが取り組むプロジェクト「一瞬を3次元再構成するアプリケーションの開発」は、結婚式のケーキ入刀の瞬間など、人生の特別な一瞬を3次元で記録・3D再現することを目指すものです。これにより、ただの写真や動画を超えた、よりリアルで立体的な記憶の保存が可能になります。
このアプリケーションは、Neural Radiance Fields（NeRF）という、多角度からの写真データを基に高品質な3D再構成を実現する最先端の技術を使っています。
本来、3Dデータを再構成するためには、さまざまな角度からの動画撮影が望まれます。しかし、たとえば先述のケーキ入刀など、メモリアルな一瞬に数分の時間をかけて撮影するのは現実的ではありません。片山さんの着眼点の面白さは、従来1人で撮影すると少なくとも数分の時間を要していたものを、複数人で撮影することで短時間で済ませられるのでは？と考えた点にあります。
結婚式のケーキ入刀シーンを例とすると、新郎新婦の両親など、合計4名の協力を想定し、新郎新婦の周囲を一周し、手持ちのスマートフォンで撮影。それぞれが撮った動画のデータを組み合わせ、一瞬の表情や動きもリアルに捉えた3次元モデルを生成することに挑戦しているのです。
福岡未踏への応募理由
片山さんと福岡未踏の出会いはユニークです。福岡未踏の総PMを務める荒川先生とは、片山さんがスタートアップ時代に開発にしたサービスを荒川先生に使っていただいたことからご縁が繋がっていたそう。あるとき、荒川先生から福岡未踏を紹介してもらったことをきっかけに、自分が本当に取り組んでみたいことを考え、今回のプロジェクトに辿り着いた片山さん。これまで以上に技術コミュニティに関わるようになるなどの変化もあり、「参加してみて良かった、と感じている」と話します。
さらに、メンターの先生方にも感謝しているそうです。NeRFはまさに今、世界中で研究が進められている分野で、好奇心旺盛な片山さんは次々に新しい技術を取り入れたくなってしまいます。メンターとして関わってくださっている西田先生は、「新たな技術も良いが、まずはしっかりアプリケーションの開発を進めよう」とストップをかけてくれました。プロジェクトには一人で挑戦しているため、そのような関わりに助けられています。また、同じくメンターの島田先生には、GPUのパーツがついたパソコンを貸していただくなどデバイス面での支援や、第二期の発表の前に話す機会を設け、NeRFについて深く助言いただいたりもしているそうです。
福岡未踏で成し遂げたいこと
福岡未踏の期間中の目標は、一瞬を3次元で再構成するアプリケーションを完成させること。第三者のアクションにより協力者のiPhoneにカウントダウンが通知され、iPhoneのカメラ機能で動画を撮り、収集したデータから1時間で3Dモデルが生成されるレベルまで持っていくことです。1時間で3Dモデルが生成されれば、たとえば結婚式の実用シーンにおいては、リアルタイムでエンドロールムービー内で利用することも可能になります。
そのために3D再構成技術の実装や、複数人の撮影データを統合する処理など、技術的に難しい課題へ取り組んでいます。また、片山さんがこれまで得意としていたWebアプリケーションではなく、スマホにおけるアプリケーション開発も必要となります。片山さんは、「普通に生きていたらスマホアプリの学習の必然性はなかったかもしれませんが、今回のプロジェクトで学習が必要になりました。やりたいことなのでポジティブに挑戦できます！」とやる気に満ちています。
このプロジェクトは、片山さんご自身が結婚式を経験され、「ケーキ入刀の瞬間のような“残したい一瞬”を、みんなで撮影したデータを集めたら3次元で再構成できるのでは？」と閃いたことから始まりました。プロジェクト自体には一人で取り組んでいますが、福岡未踏の他のクリエータやメンターなどいろんな人との交流も踏まえて、アプリケーションの完成までどうにか辿り着こうとしています。
おわりに
片山さんのプロジェクトにおける技術的な課題は、「やってみたい！」という思いをエネルギーに、彼の技術者としてのスキルを大きく拡張したのだなと感じました。また、片山さんに将来の夢をお聞きすると、「世界中で多くの人が使ってくれるようなサービスを生み出すこと」と教えてくださいました。「今回のプロジェクトが、そんなサービスになるかどうかはまだ分かりません」とご本人は語りますが、片山さんの情熱から生まれたこのプロジェクトは、多くの人が「使ってみたい！」と感じるであろう素晴らしいものを生み出すに違いありません。片山さんの夢の実現の、最初のステップになると期待しています。
福岡未踏とは
福岡未踏的人材発掘・育成コンソーシアム（通称、福岡未踏）とは、福岡県在住の若手クリエータを発掘・育成し、クリエータの「何かを作るための第一歩」を支援し、また、IPA未踏と同等の支援に加え、複数のIPA未踏経験者からなるPM・メンター陣にて、プレ人材向けの支援を行います。