自分の好きな歌唱系Vtuberの声質をスペクトログラムから分析してみる

これは何？

歌唱系Vtuberの声質をスペクトログラムから分析してみようという記事です。次の４人の歌唱系Vtuberの方々の声質をスペクトログラムから分析してみます！

• 富士葵さん(←推し)

• 獅子神レオナさん

• MaiRさん

• 星街すいせいさん

スペクトログラムって何？

• 音は空気の振動(が耳に伝わったもの)、つまり波で表せます。

• 波はフーリエ変換によって、様々な周波数の正弦波の合成として表せます。

• ある音声についてフーリエ変換を行い、横軸に時間、縦軸に周波数をとり、各時刻での周波数成分の強さをヒートマップで表したものをその音声のスペクトログラムといいます。

• 音声のスペクトログラムは声紋と呼ばれたりもするらしいです。

• 例えば、次の画像はバイオリンの音のスペクトログラムです。

  • 色が明るいところほ周波数成分が強く出ています。

  • 縦軸(周波数)をみると、様々な周波数の音が一定間隔で並んでいることがわかります。

  • このように整数倍で現れる周波数の音の成分を倍音といいます。

  • 倍音同士は共鳴し、美しい響きを作るらしいです。

    • 参考: メジャースケールはなぜ美しく響くのか？〜倍音、周波数、純正律のわかりやすい解説～

参考: スペクトログラム
参考: 倍音

File:Spectrogram of violin.png - Wikimedia Commons

曲を選ぶ

ざっと以下のような条件を満たす曲としてLiSAさんの紅蓮華を選んでみました。

• 自分が好きかつたくさんの歌唱系Vtuberにカバーされている

• 切り取りやすいフレーズがある

冒頭の「強くなれる理由を知った 僕を連れて進め」(曲の冒頭15秒弱)の部分を切り取って声質の比較を行いたいと思います。

歌っている人を選ぶ

「紅蓮華 歌ってみた Vtuber」などで検索して、完全に独断と偏見で以下の方たちを選びました。

• LiSAさん (原曲との比較として入れています)

• 富士葵さん

• 獅子神レオナさん

• MaiRさん

• 星街すいせいさん

スペクトログラムを作る

作り方

1. ボーカル部分と楽器部分の音源分離処理をする(spleeterというライブラリを利用しました)。

2. ボーカル部分の音声に対して、スペクトログラムを作成する。(librosaというライブラリを利用しました)。

スペクトログラムを描く

スペクトログラムを描いてみるとこうなります。

スペクトログラム

スペクトログラムを読み取る

時間軸ごとにスペクトログラムの特徴を比較して見ていきます。
音楽に関しては完全に素人なので、以下はほぼ感想と思って読んでください！！！

• LiSAさん

  • 最後の伸ばすところで倍音が10000Hz近くまでとても綺麗に出ています。

  • やはりLiSAさんは本当にすごい。

• 富士葵さん

  • 4000Hzあたりまで倍音があらわれているのは他の方々と同じなのですが、8000Hzあたりに突出して倍音がでているのが特徴的です。

  • 最後の部分で等間隔の周波数成分が細かく振動している部分があります。これは実際の曲を聞いてみるとわかるのですが、こぶしの部分に対応していると思われます。

• 獅子神レオナさん

  • 他の方と比較して、高周波成分が強くでている部分が多いです。

  • 2000Hz~4500Hzあたりにかけて強い倍音成分がでています。

• Mairさん

  • 6000Hzから8000Hzにかけて、倍音が出ているのが特徴的です。

• 星街すいせいさん

  • 全体を通してですが、低周波数の音が強く出ており、逆に高周波数の音はあまり出ていないの他の方との違いとなっています。

感想

音声分析の勉強を兼ねてやってみました。スペクトログラムを描くのは声質の分析の第一歩という感じだと思うので、さらに高度な分析もやってみたいなと思いました。