Google Colab で はじめる NEUTRINO v1.2.0
「Google Colab」で「NEUTRINO」を試してみました。
・NEUTRINO Electron v1.2.0
1. NEUTRINO とは
「NEUTRINO」は、「楽譜」から発声タイミング・音の高さ・声質・声のかすれ具合などをニューラルネットワークで推論して、「歌声のwavファイル」を出力するツールです。2022年4月22日より「NEUTRINO-Electron」として正式リリースが開始されました。
2. NEUTRINO-Online版の準備
以下のサイトから「NEUTRINO-Online版」をダウンロードして解凍してください。「NEUTRINOフォルダ」が生成されます。
フォルダ構成は、次のとおりです。
・score : 入力ファイル
・musicxml : 楽譜ファイル
・sample1.musicxml
・sample2.musicxml
・sample3.musicxml
・ouput : 出力ファイル
・model : 歌声ライブラリ
・MERROW : めろう
・NEUTRINO.ipynb : ノートブック
「score/musicxmlフォルダ」に楽譜ファイル(*.musicxml)を配置した後、「NEUTRINO.ipynb」で変換を実行することで、「outputフォルダ」にwavファイルが出力されます。
3. 歌声ライブラリの準備
歌声ライブラリは「modelフォルダ」に配置します。初期状態で「めろう」が含まれています。
「めろう」以外に歌わせたい場合は、以下のサイトからダウンロードして解凍して配置します。
4. 楽譜の準備
「NEUTRINO」で使う楽譜の作成は「MuseScore」が推奨とのことなので、以下からダウンロードおよびインストールします。
楽譜は「musicxml」形式で用意して、「score/musicxml」に配置します。今回は、サンプルとして提供されている「/score/musicxml/sample1.musicxml」を使います。
MuseScoreの使い方は以下が参考になります。
5. Google Colabの準備
「Google Colab」（Google Colaboratory）は「Google Drive」上で動くPythonの実行環境です。「NEUTRINOフォルダ」を「Google Drive」にコピーし、「Google Colab」のアプリを追加後、ノートブックを開きます。
◎ NEUTRINOフォルダ を Googleドライブ にコピー
(1) 「Googleドライブ」にアクセス。
Googleアカウントでのログインが必要です。
(2) マイドライブに「Colab Notebooks」フォルダを作成し、先ほど解凍した「NEUTRINOフォルダ」をコピー。
◎ Google Colabのアプリの追加
(1) 右側の「＋」をクリック後、上側の「検索」（虫眼鏡）をクリック。
(2) 検索ボックスで「Colab」を検索し、「Colaboratory」を選択して追加。
◎ ノートブックを開く
「NEUTORINO.ipynb」をダブルクリックして開きます。
6. ノートブックの実行
(1) 1つ目のセルを選択し、セルの実行ボタンを押す。
「Googleドライブ」へのアクセス許可の確認ダイアログが表示されるので、許可します。
(2) 2つ目のセルを選択し、セルの実行ボタンを押す。
「NEUTRINOフォルダ」に移動します。
(3) 3つ目のセルを選択し、セルの実行ボタンを押す。
ファイルが実行できるように権限を設定しています。
(4) 4つ目のセルを選択し、パラメータを確認（以下ではModelDirをZUNDAMONにしてます）してから、セルの実行ボタンを押す。
パラメータの説明は、次のとおりです。
・BASENAME : musicxmlフォルダ内の楽譜ファイル名 (拡張子除く)
・NumThreads : スレッド数
・SUFFIX : 楽譜ファイルの拡張子
・ModelDir : 歌唱ライブラリのフォルダ名 (MERROW、ZUNDAMONなど)
・StyleShift : スタイルシフト
・PitchShift : ピッチシフト
・FormantShift : フォルマント(声色)シフト
成功時には、Googleドライブの「outputフォルダ」にwavファイルが生成されています。
・sample1_syn.wav : world版 (パラメータをより忠実に再現)
・sample1_nsf.wav : nsf版 (人間の声に近くなるようにNNで補正)
(5) wavファイルをダブルクリックして歌声を確認。
この記事が気に入ったらサポートをしてみませんか？