はじめまして、高梨です！

はじめに

はじめまして。Dentsu Lab Tokyo新入社員の高梨と申します。
今回のnoteでは自分の自己紹介も兼ね、自分が興味を持っているものについて紹介しようと思います！

学生時代からテクノロジー を使った表現に興味を持ち始め、日々AIやVRやwebなどを使った表現のプロトタイプや制作を行っています。特に、音楽領域や音楽ライブパフォーマンスにおけるテクノロジーの活用に興味があり、大学時代はテクノロジーを使った演奏システムなどを作っていました。

もともと幼少期からピアノを習っていたり、高校や大学ではギターをやっていたりと、音楽に深い関心があり、大学でプログラミングなどを習う中、音楽とテクノロジーの掛け合わせで何かできないかと考えたことが制作を始めたきっかけです。

制作した作品は基本的に自分の演奏者としての視点を活かし、演奏体験などをもとに作ることが多く、自分や多くの人が演奏体験を拡張できるようなものを作っています。

せっかくなので、2つほど作ったものを紹介します！

Variable Flavor Remix

音楽ライブにおいて、観客からリクエストされた複数楽曲をもとに、リアルタイムにリミックス／マッシュアップを行なう音楽パフォーマンスです。
制作背景としては、DJライブパフォーマンスにおいて、観客と演奏者の関係性が以前よりも希薄化していることに着目しました。新型コロナウイルスはその流れを加速させ、観客と演奏者の距離をより遠ざける結果となりました。
本パフォーマンスは観客と演奏者の関係が希薄化してしまった現在の状況下でオーディエンスによる曲のリクエストに基づき、即興性のあるリミックスやマッシュアップを生み出すことで、両者の関係性において相互交流が生まれることを目的としています。深層学習を用いた音源分離モデル (音楽をボーカル、ベース、パーカッションなどの個別のストリームに分離する技術) と、楽曲内で周期性のあるループを抽出する技術を組み合わせることで、即興で観客から集めた異なる楽曲同士のリミックス／マッシュアップを容易にするなどの工夫も行いました。

Play your face

その名の通り、表情で演奏することを可能にした作品です。Play your faceではAIが人間の表情を認識し、表情からリアルタイムで楽曲を生成し続けます。楽器奏者の「顔で弾く」感覚を非楽器奏者にも体験してもらいたいという思いで制作した作品です。
システムの中身としては、表情認識とテキストから音楽を生成できるText-to-Musicを使用しています。認識した表情をもとに、テキストプロンプトを作成し、Text-to-Musicのモデルに入力することで、リアルタイムに表情から音楽を生成しています。怒った顔をするとゴリゴリのギターロックが流れたり、笑顔が認識されるとダンスミュージックっぽい音楽が流れるなど、それなりに納得感のある「顔で弾く」体験ができる作品となっています。

最後に

今後も演奏者としての視点や経験を活かし、楽器を弾く体験をより楽しく、拡張するような面白いものを作っていけたらと考えています！