MuseCoco: テキストに沿ったMIDIファイルを生成

以下論文が面白そうだったので、論文前半の構造の説明の部分をななめ読みしてみました。

MuseCoco: Generating Symbolic Music from Text

１．MuseCoco概要

• MuseCoCo は、Music Composition Copilot（作曲 副操縦士） の略

• テキストからMIDI形式（Symbolic Music）を生成する。MIDI形式での出力は、他の提案で公開させているオーディオの形で直接出力する方法よりも編集などが容易なので活用しやすい。

• ユーザーが音楽知識がない場合は、第1ステージのモデルを使って直感的に記載したテキストから音楽属性を生成したのち、これを第２ステージに入力して音楽を生成する。音楽の知識がある作曲家などのユーザーは、第2ステージの音楽属性を直接入力して作曲させてもよい。

• 第１段階のテキストから音楽属性(Attribute) の抽出は教師あり学習、第２段階の音楽属性(Attribute)から音楽の生成は、自己教師あり学習を用いたモデルを用いる。

MusicCocoのパイプライン。第１段階: テキストから音楽属性(Attribute)、第２段階: 音楽属性(Attribute)から音楽への生成

訓練は各ステージは独立して行う。テキストから属性理解のステージはBART、属性から音楽の生成にはTransformerを用いる

２．音楽属性から音楽生成ステージ （Attribute-to-Music Generation）

• ほとんどの音楽属性は（データセットの）音楽シーケンスから抽出できるため、自己教師あり学習が適用できる。大量のラベルなしデータを活用できるためデータ効率の高いアプローチとなる。

• Figure 2の(b)参照： 学習時はデータセットの音楽シーケンスから音楽属性を抽出してPrefix tokenとし、special tokenの[SEP]をはさんで、Misic tokenと合わせてTransformerの入力トークンとして学習する。

３．テキストから音楽属性への変換ステージ（Text-to-Attribute Understanding）

• 客観的な属性の楽器、音域、キー、テンポ等と、主観的な属性のアーティスト、音楽ジャンル、感情を音楽属性の分類用のトークンとして学習する。

４．音楽の生成例・Githubリポジトリ

• 以下に、生成例が掲載されているので試聴してみてください。Baselineとして、GPT-4とLanguage-music BART-baseとの比較もされています。

MuseCoco: Generating Symbolic Music from Text for Composition Copilot

感想

• （素人の感想ですが）全体的に、MuseCocoで生成したものは、メロディー、コード、リズムともに音楽的な破綻がなく、かなり自然に聞ける気がしました。

• 今までも簡易なものはあったと思いますが、DTMソフトにこのようなAI機能が内蔵されて、AメロとBメロの間をつなぐとか、人間が入力したメロディーをより音楽的に自然な感じに訂正するとか、コパイロット的な機能がいろいろ実現できそうですね。たのしみです。

記載誤り、理解不足などございましたら、ぜひコメントお願いします。

おしまい