Computer-aided Synthesizer Programming for Musical Sound Design

2023年8月15日 10:25

2022年度研究会推薦博士論文速報
［音楽情報科学研究会］

増田尚建
（（株）Qosmo　AIリサーチエンジニア）

邦訳：音楽制作における音作りのためのシンセサイザー操作支援

■キーワード
機械学習／信号処理／音響合成

【背景】シンセサイザーはさまざまな音色を出せる
【問題】シンセサイザーのパラメータを調整するのは困難である
【貢献】音を再現するパラメータを自動で推定し，ユーザを支援する

　シンセサイザーは，さまざまな音色の音を作れることから，現代の音楽制作において独自の地位を確立している．この出力の自由さは，合成アルゴリズムのパラメータをツマミやスライダーなどからなるインタフェースで直接コントロールすることで実現されている．

　一方で，シンセサイザーの操作は難しいと感じる音楽制作者が多いことがよく知られている．その理由の1つには，シンセサイザーには操作すべきパラメータが多いという点が挙げられる．シンプルなシンセサイザーでは20個程度，複雑なシンセサイザーになると100個を優に超えるパラメータがある．

　これだけのパラメータを前にすると，ユーザはシンセサイザーのUIを目の前にして途方に暮れてしまう．また，合成アルゴリズムを深く理解していないユーザは，どのパラメータを調整すべきかを理解するのが難しい．

　そこで，ある音をシンセサイザーでできるだけ再現できるような合成パラメータを自動で推定するという支援方法が考えられる．このタスクを本研究では「楽音マッチング」と称する．従来の楽器音などをシンセサイザーで再現することで，ターゲット音の特徴を真似しつつ，シンセサイザーの特性も残した興味深い音を発見することができる．また，推定されたパラメータからユーザがそのシンセサイザーの使い方を学ぶこともできる．そして，マッチング結果を音作りのスタート地点として用いることで，さらなるパラメータの調整を手動で行うことも可能になる．

　本研究では，シンセサイザー操作支援のための新しい楽音マッチング手法を2つ提案し，これらを統合した音作りアプリケーションを実装した．

　第1に，QD（Quality Diversity）アルゴリズムを利用して，多様なマッチング結果を発見することを目的とした楽音マッチング手法を提案した．QDアルゴリズムは，遺伝的アルゴリズム（自然淘汰に着想を得て，問題に適合した個体が子孫を残すことでより良い解を発見する手法）に新規性（novelty）に基づく目的関数を導入した．このQD楽音マッチング法により，標準的な遺伝的アルゴリズムよりも多様なマッチング結果を発見することができるようになった．これらのマッチング結果は明るさ・ノイズらしさといった尺度についてバラけているため，求める音を直感的に選び取るのに有効である（図-1）．

　第2に，微分可能なシンセサイザーを用いた新しい深層学習ベースの楽音マッチング手法を提案した．従来の深層学習に基づいたマッチング手法では，音の特徴からパラメータを推定するように，推定されたパラメータの誤差を用いてニューラルネットの学習を行っていた．提案手法では，実際の合成音の類似度を誤差関数として，ニューラルネットを訓練することが可能になる（図-2）．さらに，従来手法では真の合成パラメータが不明であるために訓練に用いることができなかったドメイン外楽音（用いるシンセサイザー以外によって作られた音）についてネットワークを訓練することが可能になる．この提案手法は，パラメータ誤差・合成音のみを用いた従来手法と比較して，より良いマッチ音を見つけることができることが主観評価実験により確認された．

　最後に，2つの楽音マッチング手法を統合した簡単な音作りアプリケーションを実装した（図-3）．ユーザは深層学習ベースの手法を用いることで，即座にマッチング音を得ることができる．また，より時間のかかるQD楽音マッチングを用いることで，より多様で高品質なマッチングを探すことができる．ユーザ調査の結果，多様なマッチング結果を表示することの重要性が示唆された．

（2023年6月4日受付）
（2023年8月15日note公開）

ーーーーーーーーーーーーーーーーーー
　取得年月：2023年3月
　学位種別：博士（工学）
　大学：東京大学
ーーーーーーーーーーーーーーーーーー

推薦文［メディア知能情報領域］音楽情報科学研究会
本論文はある音をシンセサイザーでできるだけ再現できるような合成パラメータを推定する「楽音マッチング」に着目し，この問題にQuality-Diversityアルゴリズムに基づく手法および深層学習を用いた微分可能なシンセサイザーに基づく手法を新たに提案しており，新しいシンセサイザー操作支援技術を体系化した斬新なアイディアに基づく研究である．　

研究生活　　新しい音楽を生み出す技術にかかわりたい，というモチベーションで学部の頃から研究を続けています．高校生の頃からシンセサイザーや色々なソフトを使って奇抜な音を出すことに興味があったのですが，修士の頃にフランスのIRCAMという研究所に留学した際にシンセサイザーをテーマにした研究に携われました．博士課程ではそれを続けた形になります．博士課程では音の生成モデルも研究テーマとして検討していましたが，どのようなインプットで人間が生成モデルを制御するかで悩み，なかなか形にならなかったです．また博士課程をやり直すとすれば，楽音マッチングという問題のヒューマンコンピュータインタラクション的な立場からの調査をまず始めに行いたかったと思います．
博士号をとったことで，自分に専門的な知識が身についただけでなく，自分はこの分野での専門家であるという自負が生まれたのも嬉しいことだと思っています．