カラオケ字幕付きの楽曲動画の作り方その６（ボーカルカット比較とマルチトラック動画の作成）

2022年11月12日 17:42

はじめに

カラオケ動画の作成にはオンボーカルが必要ですが、いざ歌うとなるとカラオケ音源(ボーカルカット,オフボーカル,インストゥルメンタル)が必要になります。
CDに付いているときは良いのですが、そうでないときはカラオケ音源を自分で作成する必要があります。
この記事では、まずボーカルカットのやり方2種類(Spleeter GUIとDemucs GUI)を解説します。
次に作成したボーカルカット音源とオンボーカル音源を1つのmp4の中で切り替えることができるマルチトラック動画の作成方法を解説します。

ボーカルカットとは

Spleeter登場以前は、音声波形編集ソフトのエフェクトを使ってインストゥルメンタルを抽出していました。
具体的にはL/R 両方のチャンネルに共通する周波数を維持または削除することで、ボーカルやインストゥルメンタル部分を抽出していました。
ただし抽出のクオリティはかなり音源に左右されますし、そもそものクオリティもあまり高くはありませんでした。
一方、SpleeterやDemucsはAI（機械学習）による分離を行っており、抽出のクオリティはあまり音源に左右されず、きれいにボーカルカット音源が作成される印象があります。
以下の動画でそれぞれのボーカルカット音源を比較しています。
0:02 Adobe Auditoin 2023(音声波形編集ソフト)
0:32 Spleeter
1:03 Demucs

Spleeter GUIのインストール方法

URLにアクセスして左にあるDownload installerをクリックしてSpleeterGUI_V2.9.2.msiをダウンロードします。
SpleeterGUI_V2.9.2.msiをダブルクリックするとセットアップ画面が開くのでNextをクリックします。

特に設定する項目はないのでそのままNextを押し続けて大丈夫です

Spleeter GUI使い方

スタートメニューからSpleeterGUIを起動します。
Languageから日本語を選択します。

分離するパーツの欄から音源を何種類に分離するかを選べます。
二ボーカル＋伴奏
四ボーカル+ベース+ドラム+その他
五ボーカル+ベース+ドラム+ピアノ+その他
今回はインストゥルメンタルが欲しいので二を選択します。
に保存ボタンを押すと保存先が選べます。
そして音源をドラッグアンドドロップすると分離が行われます。

緑色のバーが右端まで到達したら処理完了です。

vocals(ボーカル)とaccompaniment(伴奏)に分離されています。

Demucs GUIの使い方

ダウンロードページにはCPUとCUDAの記載があります。よくわからない場合はCUDAバージョンをダウンロードします。(CUDA版はGeForce 系 GPU を活用して高速に処理ができます。CUDAバージョンでもCPUモードは使用可能です。)
ダウンロードしたファイルは7zという圧縮形式になっています。
デフォルトでは解凍できないので7zipをインストールします。

特に設定は必要ないのでInstallボタンを押していきます。

ダウンロードしたファイルを右クリックして7-Zip＞展開を選びます。

Demucs-GUI.exeを起動すると波形の画面が出ます。

Load modelをクリックして待ちます。
Deviceで処理ハードウェアを選べます。CUDAが選べる場合は高速処理が可能なのでそちらを選びましょう。CUDAが使えない場合はCPUが選択されているはずです。

右にあるBrowse File to Separateボタンをクリックします。
CUDAを使うと2分くらい、CPUだと8分くらいかかりました。

wavファイルを使ってもFailed to write with soundfileと表示されます。
mp3でもこの表示は出ますが分離自体はできています。
vocals.wavがボーカル抽出音源、bass.wav、drums.wav、other.wavがその他の音源です。

ここで改めて3種の音源ボーカルカット(Adobe Audition 2023)、Spleeter、Demucsを比較してみましょう

コーラス部分に注目すると、Demucs>Spleeter>Adobe Audition 2023の順番で消えていることがわかります。
また、Spleeterには歌い始めのボーカル残りがありますがDemucsにはそれもありません。
まとめると
精度 Demucs >Spleeter
時間 Spleeter> Demucs
となっています。個人的にはDemucsをオススメします。

マルチトラック動画の作り方

カラオケ音源を作成したところで、動画にいれるためにツールをダウンロードします。
MP4ファイルと複数の音声を連結するためのソフト
MP4Box

Yamb (Yamb-2.1.0.0 beta 2)

MP４Boxの設定

変更点はないのでそのままインストールして大丈夫です

Yambでこの場所を読み込むので場所を覚えておいてください。

Yambの設定

Yambはインストールの必要はなくzipファイルを解凍すれば使えるようになります。
ただこのままでは使えないのでYambがMP4Boxを使えるように設定します。
Yambを起動しSettingをクリックして、右側のAdvanced Settings for Yamb~(中略)Mp4Box)をクリックします。

先程MP4Boxをインストールした場所を選択します。

マルチトラック動画の作成方法

Editingをクリックし右側のClick to join supported filesをクリックします。

Concatenation of Filesの画面になるのでオンボーカル動画とボーカルカット動画をドラッグ＆ドロップします。
※wavファイルはサポートしていません。ボーカルカット音源は動画編集ソフトで一度書き出し直す必要があります。(ここではH.265 AAC 44.1kHz 32000kbpsで書き出しています。)
ボーカルカットに付いている動画はいらないのでチェックを外します。