NEUTRINOの歌声作成に Cakewalkが結構強い説
追記（重要）
この記事の目玉であるCakewalkのオーディオMIDI変換機能についてですが、Melodyneの体験版の機能で実現していたようです。よって、インストール時に体験版をインストールしていない場合、体験版の期限が切れた場合には機能しません。Melodyneを購入すれば機能を使用し続けられるようです。
誤解を招くような記事を書いてしまい申し訳ありません。
音声合成ソフトの進化
DTMを趣味にしていると、音声合成ソフトも結構気になるんですよね。自分は歌モノよりも、インストを作りたい方ですが、それでもやっぱり気になります。
一番有名な音声合成ソフトといえば、YAMAHAのVOCALOIDですが、他にもCeVIO、UTAU、Synthesizer V 等があり、近年の進化には目を見張るものがあります。
その中でも特に気になったのが、NEUTRINOというソフトで、何でもニューラルネットワークとか言う（なんだか良く解んないけど、凄そうなAIの仕組みなのかな？）技術を用いた歌声シンセサイザーらしい。
入力の線形変換を含む処理単位を考える。これらユニットの入出力が結合しネットワークを構成している数理モデルがニューラルネットワークである
NEUTRINO – NEURAL SINGING SYNTHESIZER はニューラルネットワークを用いた歌声シンセサイザーです。本ソフトウェアはフリーウェアです。
楽譜から発声タイミング・音の高さ・声質・声のかすれ具合などをニューラルネットワークで推定します。上記の推定されたパラメータを元にvocoderで音声を合成します。
うん、Wikipediaの説明を読んでも良く解んないけど、とにかく、より人間ぽく歌ってくれる音声合成エンジンって事だよね。なんとフリーウェアっていうのだから、気軽に遊んでみようと思う訳ですよ。
歌声の音声ファイル作成までの流れが厳しい
ところが、これが意外とお手軽じゃない。
楽譜が書ける人は楽譜作成ソフトで（推薦エディタはMuseScoreというソフトとの事）から始めてもいいみたい。
いや、僕は楽譜が書けるどころか、読むことすらままならないので、MIDIシーケンサーか、DAWと呼ばれるソフトのピアノロールという画面で入力する事になります。
そこからの音声ファイル作成までの道のりは
DAWソフトなどでメロディーを打ち込む
MIDIファイルでエクスポート
MuseScoreでMIDIファイルを開く
楽譜に歌詞を書き込む
MusicXML形式でエクスポート
NEUTRINOのフォルダの中のbatファイルをテキストエディタで開く
エクスポートしたXMLや歌声ライブラリのパス等の情報を記入して保存
batファイルを実行
歌声のWAVファイルが出来上がる
と、こんな感じの流れ。普段からDTMに慣れ親しんでいる人でも、６～８辺りの手順は少し取っつきにくい感じがするのではないでしょうか？batファイルを実行すると、コマンドプロンプトが立ち上がって、真っ黒な画面に白いテキストがすごい勢いで流れていきます。
救世主現る
そこへ、その取っつきにくい６～８辺りの行程と、タイミングやピッチ等の細かい調整などをGUIでできるソフトが登場したのです。
GUI（ジーユーアイ、グイ、グーイ[1]））は、コンピュータグラフィックスとポインティングデバイスなどを用いる、グラフィカル（ビジュアル）であることを特徴とするユーザインタフェース。キャラクタユーザインタフェース (CUI) やテキストユーザインタフェース (TUI) と対比して語られることが多い。
その名もNEUTRINO調声支援ツール
エディタ部分の使い勝手は、MIDIシーケンサーや、DAWの方が特化しているのでそちらでやるとして、細かい修正を画面を見ながら直感的に操作できる所と、batファイル廻りをマウス操作で実行できるのは、非常にありがたいですね。
それでも道のりは険しい
一番の難関はNEUTRINO調声支援ツールのお陰で随分と楽になりました。とはいえ、そこに漕ぎ着けるまでも結構大変です。
ファイルの形式を変えながら複数のソフトを経由して生成します。何度もやり直したりするので、行程は少しでも少ない方がいいです。
そして、重要なのは、そもそも、最初の行程のメロディーを打ち込む時点で結構な作業時間を費やす事になると言う事です。
MIDIファイルの打ち込みには、マウスで入力以外にも、MIDIキーボードなどを使ってリアルタイム録音する方法がありますが、頭に思い描いたメロディーを鍵盤でうまく弾ける人はその方法で時間が短縮できますが、僕はそうではないので、録音をする前に鍵盤を何回も弾いてみて、「こうかな？こうかな？」っと探りながら音を探して何回か練習して、いざ録音すると失敗しちゃったりして。まぁ、回を重ねると慣れては来るのでしょうが、結構時間を食ってしまいますね。
Cakewalkの凄い機能を使って楽をする
つい最近まで全然知らなかった機能なんですが、最近見つけたyoutubeの動画で、オーディオファイルをMIDI化する機能があるというのを見て、「すげーっ」って思ったのです。どうやらこの機能、内部的にMelodyneというピッチ補正ツールの音声解析エンジンを利用していたようです。
動画の投稿が2017年、SONARとして有料で販売されていた時のもので、その当時はMelodyneがバンドルされていたようです。
無料となった今では、Melodyneや、サードパーティー製の有料プラグイン等は当然バンドルされていません。なので、その機能も無くなっちゃったかもと思いながら試してみると、できました。内部的に使っているエンジンは違うかもしれないけれど、機能はしっかり残っていました。
※インストール時にMelodyneの体験版をインストールしており、その機能を使って変換されていたようです。なので、体験版のお試し期間を過ぎてしまうと、Melodyneを購入しないとこの変換機能が使えなくなります。
ただし、この機能を利用するには少々コツがいるみたいで、抑揚をつけて歌うとうまく認識できません。なるべくフラットに歌うと認識しやすいのですが、このフラットに歌うのが意外と難しいです。
それでも、鍵盤入力が苦手な自分にはかなり強い味方です。誤認識した部分については後で修正すればいいので、かなりの時間短縮になります。
譜面の出力までの行程をCakewalkで完結する
そして、このようにしてMIDIへと変換されたピアノロールをエクスポートする事無く、譜面で見た時の書式で表すのが譜面ビューです。
ピアノロールと譜面ビューとがそれぞれが互換していて、一方で加えた変更はもう一方にも反映されます。
さらに、その譜面に歌詞を打ち込んで、NEUTRINO調声支援ツールに渡す形式のMusicXML形式でエクスポートする機能もあるので、譜面出力までの行程をCakewalkのDAWソフト単体で完結する事になります。
そうして、出来上がったwavファイルを今度はCakewalkのオーディオトラックにインポートするといった流れなら、起動するソフトは極力少なくて済む事になります。
尚、他のDAWソフトにもこういった機能があるようです。しかし中にはエクスポートしたMusicXMLが正しく認識されないケースもあるようです。
あまり数は多く無いですが、少なくとも自分が試した限りでは、CakewalkがエクスポートしたMusicXMLはNEUTRINO調声支援ツールで正しく認識できています。どうしてもうまく認識できない時はMuseScoreを経由するとよいかもしれませんね。
これから始める人にもお勧めできる
CakewalkもNEUTRINOもMuseScoreも、NEUTRINO調声支援ツールも全て無料ソフトです。
そういった意味でもCakewalkはNEUTRINOと相性がいいと言ってもいいかもしれません。
音声合成ソフトや、歌モノの作曲などに興味はあるけど、いきなり高額なソフトを購入するのは躊躇してしまうといった人でも、無料ならば、気軽に試すことができるのではないでしょうか。
と、いうことで、NEUTRINOの歌声作成にCakewalkが結構強い説を唱えたいと思います。
動画作成しました
この記事が気に入ったらサポートをしてみませんか？